Assessment in CBL programs –

assessment for learning and feedback/

self-responsibility -autonomy

Prof. Dr. F. DochyUniversiteit Maastricht/

KU Leuven

2

Assessment according to Jim

PophamHis most recent books are Classroom Assessment: What Teachers Need to Know, 6th Ed. (2010) and Assessment for Educational Leaders (2006), Allyn & Bacon; The Truth About Testing (2001), Test Better, Teach Better (2003), Transformative Assessment (2008) and Instruction that Measures Up (2009) ASCD; America’s “Failing” Schools (2005) and Mastering Assessment (2006), Routledge; and Unlearned Lessons (2009) Harvard Education Press.

3

OUR FAILURE TO USE FORMATIVE ASSESSMENT:

IMMORAL OMISSION?

4

Please, just for a moment, suppose that the world’s pharmaceutical industry has developed a new medicine to treat a serious, life-threatening disease affecting young children. Suppose, further, there is a flock of compelling clinical evidence that this medicine effectively halts the dangerous disease, and that it is eminently affordable. Now, for your final supposition—and this one strains credulity—I want you to suppose that few physicians use the medicine with their young patients nor do they make parents of those children aware of the new medicine’s existence. As indicated, this kind of conduct from physicians, even though fictional, is surely unlikely.

 

Okay, looking back at the previous paragraph’s excursion into Supposition Land, if such a scenario were factual, how do you think our society—and parents in particular—would react to physicians’ failure to either use the new medicine or to describe its potential benefits to parents? Well, recalling my own experience as a parent of young children, I’m certain that parents would be outraged. For physicians neither to use the new medicine or to let parents know about its merits would surely be regarded as unprofessional and, more likely, as downright immoral. Assuming some children might actually die because their parents knew naught about this effective but unused medicine, for physicians to hide its curative powers from the world would be a profound professional blunder. The medical profession would be—and should be—on the receiving end of well warranted castigation.

5

Content1. Students’ views on

assessment2. Feasibility of assessment in

CBL3. Assessment policy4. Pitfalls5. Working and learning in

teams6. Practical guidelines

6

1. Assessment and CBL:

Is the assessment policy known to

students?Do students know

they work on competences?

7

Strategic behaviour of

students :Directed towards the type of assessment

Directed towards what is perceived as being important

Towards what is possibly part of the exam

8

MIT research(Snyder)“Students constructed their own understanding of the curriculum from messages, implicit and explicit, about what counts in assessment.”

“The extent to which students were cued in to assessment demands was found to be a strong predictor of their overall performance”.

9

2.Assessment by individual teachers : feasibility?

10

Case study in innovation

In groups of 10 students: work on real/ authentic professional problems

Transition to groups of 20 students

one could not afford small problem classes and could not afford to reinstate weekly marking of all problem sheets

Mean testscores decrease from 55% to 45%

11

Peer assessmentPeer-assessment sessions were introduced. Students gave feedback to the problem sheets and discussed them with (75% van de taken moest opgelost zijn om toegelaten te worden aan het tentamen)

“The only change to the course was these six peer-assessment sessions which did not contribute to course marks”

Testsscores increased from 45% to 75%.

Explanations?

12

Explanations?Time on taskAssessment generates appropriate learning activity: studenten verdiepen zich in exact datgene wat gewenst is, in competenties die vereist worden (o.a. door het gebruik van de criteria)

Good practice gives prompt feedback: Keyword is here ‘immediately’. (POPHAM!!!) To get better in playing darts, you have to be able to see where the darts land.

Internalization of criteria for quality. Vergelijk met academici die een artikel voor publicatie indienen.

3. Assessment policy: Alignment

of assessment plans at the level

of the training program

14

Starts with mapping all the assessments in the training program ; Matrix of courses/projects and assessments.

State priorities: competence list; special learning lines; subject matter priorities (e.g. continuous link with practice; first basic knowledge, then applications; basic attitudes and generic competences continuously integrated in courses and projects, etc.)

Points of attention in CBLAssessment beroepscontextgebonden?

Stijgende zelfsturing lln, zelfverantwoordelijkheid eigen leren?

Ontwikkelingsgericht werken?

Docent als coach?

Competentiegericht (integratie K,V,H)?

Welk soort sturing door assessment? (Toets je wat je wil toetsen? Wat is het effect op studenten?)

Zelfreflectie (report of 5’ evaluation in each of the minutes of each meeting)

Zorg eerst voor een visie op instellingsniveau, gedeeld door opleidingshoofden

Zorg voor enige uniformiteit in aanpak over opleidingen heen.

Opleidingshoofden hebben de expliciete taak om een assessmentbeleid op te stellen. Dat start bij een eenvoudige matrix.

18

4. Pitfalls in CBL assessment

1. Enkel uitgaan van een ‘Assessment center’

(‘het assessment’)

Ook ‘kennis’ als basis is belangrijk: dit dient zich te weerspiegelen in de mix aan assessmentvormen. Kennis is een deel van elke competentie.

Pitfalls in CBL assessment

2. Een mix van assessmentvormen is noodzakelijk =

Visible in the assessment policy

Mix van toetsvormen: voorbeeld product toetsen

proces toetsen

summatieve/

selecterende

toetsen

formatieve/diagnostischetoetsen

Co-assessment

producttoets

OAT

procesverslag

kennistoets

praktijktoets

180° feedback

360° feedback

assessmentportfolio portfolio

??

?

Pitfalls in CBL assessment

3. De output van CGO is niet vergelijkbaar met de output van traditioneel opleiden.

Men poogt een ander soort eindproduct op te leveren.

Pitfalls in CBL assessment

4. Nieuwe assessmentvormen kennen soms dezelfde algemene nadelen als klassieke toetsen

Bijv: portfolio (1 per opleiding; beoordeelbaar; incl. Reflectieverslag; structuur)

(T to T; anticipatie; …)

Pitfalls in CBL assessment

5. Het 40/80 concept

Hebben we echt 80 toetsen nodig in een opleiding om te weten wat onze studenten waard zijn?

25

5. Learning and working in teams?

26

Onderzoek naar leren en werken

in teamsCooperatief leren

Projectonderwijs en PGO door studenten

Maar: veel varianten !!! En : wat bepaalt nu het effect?

Leren en werken in teams: studie van de sterkst voorspellende variabelen

27

Basic factors influencing working

in teams (Decuyper, Dochy, Vd Bosssche, 2010)

Constructieve conflicten / co-constructie: constructive controversy

Psychologische veiligheid

Interdependentie

Zelfverantwoordelijkheid (individual accountability)

Cohesie (divers in soorten teams)

TeamleerprocessenTeamleergedrag is beste voorspeller van

team efficiency

Co-constructionConstructive conflict

Boundary crossing

Team reflexivity Team activity

29

Teachers’ teamwork in assessment:

how?Toetscommissie per opleidingsonderdeel

Assessmentvorm varieren (assessmentplan) / casusmateriaal maken

Kwaliteitsverhoging: nalezen, controle door diverse mensen

Let op: nietjestoetsen!!!

Dus: assessment van grotere gehelen inhouden en competenties is af en toe nodig

30

Assessment 2020Assessment has most effect when : …..

Assessment 2020Seven propositions for assessmentreform in higher education

31

6. Practical guidelines

32

Wat doe je als je wil dat studenten initiatief

nemen?Zorg voor duidelijke richtlijnen over het doel en kader (min. vereisten; tools; etc.)

Zorg dat de toetsen /opdrachten zeker aansluiten bij het onderwijs

Geef gepaste regelmatige feedback en feedforward (voldoende detail) (initiatief gaande houden) (vraag notulen van elke groepsmeeting)

Zorg voor een open opdracht die studenten deels kunnen invullen (engagement)

Zorg voor keuze in opdrachten / ook evt. keuze in moeilijkheidsgraad

Zorg voor duidelijke deadlines (zonder uitstelmogelijkheid)

Voelen van autonomie (niet-controlerend), verbondenheid, competentie (Self determination)

33

Wat niet doen als je wil dat studenten initiatief

nemen?Controlerend optreden en feedback geven (ipv vragend)

Teveel kleine omlijnde opdrachten geven

Voor alles cijfers geven (hordenloop)

Alles zelf bepalen als docent (criteria, doelen, werkwijze, planning, timing, etc.)

Ook zwakke studenten een voldoende geven !!

34

Ten slotte

Onderzoek naar bewijsmateriaal voor de invloed van toetsing op motivatie van studenten“the use of summative tests not only inhibits the practice of formative assessment but has a negative impact on motivation” (Onderzoek W. Harlen)

“improving formative assessment can significantly raise standards of attainment”

Tests of the kind that takes away control from the learner, reduces motivation and leads to surface learning.

“High stakes summative assessment squeezes out assessment for learning”.

37

Workshop

38

Individuele beoordeling bij

groepswerk

39

Individuele beoordeling bij

groepswerk3 vragen:

1. Hoe doen we de individuele beoordeling bij groepswerk?

2. Problemen die we daarbij ervaren?

3. Hoe lossen we die problemen op of hoe kunnen we ze oplossen?

40

Indiv. beoordeling bij groepswerk

Beoordeling van indiv. bijdrage in groepsgesprek van taak- en relatiespoor.

Verdeling van het totale aantal punten door de groep (bij een groepsscore van 6 op 10, mag een groep van 6 studenten 36 punten verdelen over alle studenten)

Groepsscore voor elke student + een individuele score (door docent; door groep; door beide) (evt. Op basis van individueel POP)

Groepsscore + individuele opdracht (identiek maar in andere context en alleen uit te voeren)

41

Denk aan:

Interdependentie

Individuele accountabiliteit

Psychologische veiligheid

TLB: constructive controversy