Workshop Formatief toetsen in het onderwijs

26 Maart 2013

Rubrics

Carel Burghout

Rubrics

Rubrics en assessment• Wat zijn rubrics? • Waarom rubrics?• Rubrics gebruiken voor formatieve

doeleinden (assessment for learning)• Rubrics gebruiken voor summative

doeleinden (beoordeling)• Hoe maak je een rubric?• Voorbeelden van effecten rubrics bij M

Ed Engels• Wat mag ik eventueel als bekend

veronderstellen?

WAT IS EEN RUBRIC?Een rubric maakt gebruik van precieze criteria om prestaties te evalueren of te beoordelen. Analytische rubrics hebben meestal een vaste vorm: verticaal: een overzicht van criteria waaraan de prestatie moet voldoenhorizontaal: een aantal (meestal vier) niveaus van beheersing (van zeer zwak tot uitstekend, van beginner tot expert)DIT SOORT RUBRICS LAAT JE KIJKEN NAAR AFZONDERLIJKE DELEN DIE SAMEN HET GEHEEL VORMEN 

HOLISTISCHE RUBRICHOLISTISCHE RUBRICS ANALYSEREN HET WERK ALS EEN GEHEEL. GEBRUIK VAN ANALYTISCH OF HOLISTISCH HANGT AF VAN JE DOEL.MEESTAL MEER GERICHT OP HET (EIND) PRODUCT DAN OP HET PROCES

Waarom Rubrics?• Assessment for Learning and Assessment

of Learning werken in elkaars verlengde met hetzelfde instrument

• Belang aangeduid door Hattie and Timperley van feedback, feed up and feed forward

• Transparantie, objectiviteit en betrouwbaarheid beter geborgd voor ‘the untestable’

• Navraag bij studenten en in het veld wekt de indruk dat rubrics in het voortgezet onderwijs al meer zijn ingeburgerd dan aan onze lerarenopleiding

Rubrics en Assessment for Learning

Geeft de docenten vooraf een raamwerk voor beoordeling en doelen om met studenten te bespreken (feed up)Raamwerk is ook geschikt om oordelen aan leren te koppelen (feedback)Docent kan student vertellen welk niveau van beheersing is behaald en naar welk niveau gestreefd moet worden ,de ‘gap’ (feed forward)

Rubrics en Assessment for LearningDuidelijke criteria and leerdoelen

stellen studenten in staat om zelf de rubric te hanteren (individueel of met peers) en zonodig verbeteringen aan te brengen Instrument om sterkten en zwakten duidelijk te verwoorden Rubrics samen met studenten ontwikkelen kan motiveren en zorgen voor een kritische houding ten opzichte van het te leveren werk

Rubrics en beoordelen Transparantie: je gebruikt het zelfde instrument voor beoordeling dat je voor feedback hebt gebruikt Geeft houvast bij meerdere beoordelaars Student is van meet af aan bekend met criteria en gewenst niveau Student kan medeverantwoordelijk gemaakt worden voor criteria Gewicht dat aan de verschillende criteria gegeven wordt zonodig inzichtelijk gemaakt

(scoring rubric)

Stappenplan maken rubric :1. Benoem leerdoelen en waarneembare

criteria die wilt zien (en eventueel kenmerken die je niet wilt zien) Dit wordt je linkerkolom

2. Brainstorm kenmerken voor elk criterium en zoek uit hoe je voor elk criterium niveaus zou kunnen beschrijven

3. Formuleer precieze descriptoren voor het laagste en

voor het hoogste niveau4. Schrijf descriptoren voor de overgebleven

niveaus5. Bespreek de rubric (collega , studenten) om

vast te stellen of alles helder is beschreven 6. (Tijdens de cursus) Verzamel bewijzen van

werk op elk van de niveaus om later te gebruiken als ijkpunten7. Evalueer. Herzie de rubric indien nodig

Eerste opzet: alleen criteria /Feature Excellent Good Sufficient InsufficientDesign, inviting Elicits reader response, fun to do

Both general enough and specific enough

Focus: related set of themes, inci- dents,symbols, etc

Scaffolding: help and stretching to ZPD

What it potentially shows the teacher

Easy to mark, easy to rate?

Transferable and / or to be tweaked?

Rubric deels gevuldFeature Excellent Good Sufficient InsufficientDesign, inviting Elicits reader response, fun to do

Attractive design draws in attention with relevant images /layout

No or few appeals made to senses by design, or chaotic

Both general enough and specific enough

Chosen approach and topic(s) relate well to theme(s) of the novel

Could relate to various novels, or covers just one chapter / incident

Focus: related set of themes, incidents,symbols, etc

Relevant focus, sustained throughout. Clearly related items.

A list of questions with insufficient or no focus

Scaffolding: help and stretching to ZPD

Well thought-out series of steps take learner to higher understanding

No apparent scaffolding or scaffolding set too low or too high

What it potentially shows the teacher

Shows enjoyment and experience of the book leading to new / deeper learning

Shows memorizing, no new or deeper learning made visible

Easy to mark, easy to rate?

WS makes clear what is expected and what will count

Many (sub)questions, no clear weight given to items, too open

De complete rubric

Maak een rubric• Maak een rubric op basis van het

sjabloon in de hand-outs samen met de persoon / de personen naast je.

• Volg het stappenplan in de hand-out of op het scherm

• Focus van de rubric is om een workshop sessie als deze te beoordelen

• Je kunt ook als je criteria etc. bij de hand hebt werken aan een rubric op maat voor een eigen cursus

Effecten introductie rubric bij Academic

WritingStudenten verplicht om hun werk eerst te ijken aan de rubric, eventueel verbeteren en dan pas inleveren

Eerste effect: minder benauwdheid omtrent het schrijven en minder vragen over hoe het werk beoordeeld werd

Later effect: beter ingeleverd werk met veel meer aandacht voor de feedback en grotere inspanningen om het werk te structureren

Rubric Arthur & Chappius, aangepast C. Burghout

Rubric Writing na twee jaar• Hoge acceptatie en waardering als

instrument voor assessment• Ingevoerd in eigen lespraktijk van

studenten• Moeilijk aan te geven waar rubric

kwaliteit heeft verbeterd, genoemd: ‘diepgang’

• Rubric helpt feedback te verwerken, zet aan tot nadenken over wat belangrijk is

• Na drie jaar ‘vanzelfsprekend’

Rubric Poetry File 2012• Groep met ervaring rubric writing gevraagd om rubric te maken voor cursus poëzie (zie hand-outs)

• Rubric gebruikt voor samenstelling dossier met daarin een keuze van gedichten om te didactiseren

• Input relevante doelen uit kennisbasis en studiegids

• Rubric samengesteld in les met groep n.a.v. input van drie studenten en feedback van de groep

• Groep kan al op goed niveau meepraten over rubrics

• Studenten: samenstelling dossier en feedback peers

• Docent: feedback en uiteindelijk oordeel

Poetry file rubric 2012-2013• Helderheid criteria geen probleem (respons 12 van de 20 in groep)

• Indeling rubric wel probleem. Oude opzet werkt wel voor selectie, niet voor het didactiseren• Vaag taalgebruik, zoals ‘other sources’ waarmee literatuurstudies en essays werden bedoeld• Wens om cijferindicatie aan de kolommen toe te voegen Respons verwerkt in nieuwe opzet

met aangepaste formulering (zie hand-outs)

Effect tot nu toeStudenten gaan bewuster om met feedbackStudenten zijn bewuster van het belang van transparante, objectieve en betrouwbare beoordeling

Studenten vertrouwd met criteria, ‘rubric literate’, in staat om rubric te verbeteren Meedenken, meewerken aan ontwerpen motiveert.

Bronnen en vindplaatsen

Rubrics maken met internet tools:RubiStarRecipes4SuccessRubric MachineTeachnology

Rubrics toegelicht:http://webdidactiek.kennisnet.nl/webactiviteiten/web-basedtoetsen/rubricshttp://www.leermiddelenvo.nl/subpage/rubricshttp://www.platformdigitaaltoetsen.nl/?p=909