Peer review online: wat werkt?

Janneke van der Hulst Onderwijscentrum VU

j.vanderhulst@ond.vu.nl

Ineke van den Berg IVLOS UU

b.a.m.vandenberg@uu.nl

Programma

Peer review: wat, waarom, hoe? Keuze voor systemen: selectie-criteria Twee systemen: voorbeelden Evaluaties

Wat is peer review

Studenten van gelijk niveau Peer (iemand die je als je gelijke beschouwt) geen statusverschil, geen (groot) kennisverschil

Onderwijsvorm (samenwerkend leren) Peer feedback er moet genoeg afstand zijn

Toetsvorm Peer assessment/evaluation meestal i.s.m.docent = co-assessment

Peer review: overkoepelende term

Waarom peer review (1)

Leertheorie ‘Peers’ spreken elkaars taal Tussenstap zelfstandig leren Toepassing criteriaverinnerlijking Actief met de stof bezig zijn

diepteverwerking Belang tussentijdse feedback

Waarom peer review (2)

Praktisch Schaarse docenttijd (weinig tijd voor

feedback) Groter volume aan feedback tijdens

leerproces

0. studenten stellen (mede)

criteria op, reflecteren op

criteria of oefenen zich in het leren beoordelen

1. maken van (concept) product, uitvoeren

vaardigheid of samenwerken

in groep

2. uitvoeren van peer review adhv

criteria

3. evt. verbeteren

van product/ vaardigheid/

samenw.

3a. evt. reactie op review, verzoek om

toelichting op beoordeling

5. beoordelen van

eindproduct/ vaardigheid/ samenwer-king door docent/co-

assessment

4. evt. herhaling van peer review op verbeterd

product/vaardigheid/samenw.Algemene werkwijze peer review

Best complex…

De docent heeft veel keuzemogelijkheden: Doel: formatief of summatief? Wat: product, vaardigheid, samenwerking? Hoe:

wie beoordeelt wie? Anoniem of juist niet? Criteriumgerichte of open feedback?

Begeleiden: monitoren of niet?

Hamvraag: hoe hou ik het efficient en effectief ???

Dus…peer review online

Voordelen o.a. Logistiek Tijd- en plaatsonafhankelijk Tekstgemedieerd: tijd voor reflectie,

verbalisatie Archiveerfunctie (ook van de interactie) Gelijkwaardige(r) discussie Monitoring van proces

Onderwijskundige criteria

(bron: literatuurstudie)

Functionele criteria

(bron: interviews gebruikers + technische randvoorwaarden en eisen organisatie)

Relevante thema’s bij selectie peer review systemen• Doel: formatief / summatief• Wat : bv. schrijfproduct, samenwerking, vaardigheidsdemonstratie• Soort peer feedback:

•Gesloten (schaalvragen, cijfers, ja/nee)•Open (toelichting op criteriageleide beoordeling of zonder criteria) • Algemeen of specifiek commentaar• Interactief of eenzijdig

• Monitoringsmogelijkheden• Gebruikersgemak • Beheer: kosten, continuïteit leverancier, etc. (zie www.proof-project.nl)

Keuze van systemen

Inventarisatie bestaande peer review systemen

Turnitin

Keuze VU

Wensen uit interviews: Schrijfproducten Formatieve en summatieve inzet Kwalitatieve en kwantitatieve feedback Bruikbaar in grote groepen

Keuze UU

Wensen uit interviews: Schrijfproducten Formatieve inzet Kwalitatieve feedback Interactie over feedback belangrijk

Annotatiesysteem

Voorbeeld1 (Turnitin)

www.turnitin.com Demonstratie Turnitin in cursus

`Qualitative Research Methods’ Wat, waarom, hoe van peer review..

Formatief, beoordelingscriteria leren hanteren 3 Individuele opdrachten 2 Reviewers per opdracht Anoniem Criteriageleide kwalitatieve feedback

Turnitin

Voorbeeld: Qualitative Research Methods

Voorbeeld 2 (Annotatiesysteem)

www.annotatiesysteem.nl Wat, waarom, hoe van peer review..

Formatief Schrijfproduct Groepen van 3 Niet-anoniem Criteriageleide kwalitatieve feedback

Demonstratie annotatiesysteem in cursus BMW http://www.annotatiesysteem.nl/index.php?m=document.view&id=1578

Het Annotatiesysteem

Wat is het? feedback in context

specifiek betere verwerking efficiente communicatie door minder coordinatie

interactie feedbackgever(s)-ontvanger toelichting op feedback vergroot leereffect rating feedback motiveert feedbackgever

Hoe werkt het? Webgebaseerd Log in procedure Scherm: tekst en discussiedraad

Jakko van der Pol

j.vanderpol1@uu.nl

Voorbeeld Biomedische wetenschap( F-S-Gr3-nA-Cr)

http://www.annotatiesysteem.nl/index.php?m=document.view&id=1578

Evaluatie van gebruik computer Studenten

Positief over het geven en krijgen van online peer feedback (av. 3,0 - 4,0)

>80% zou vaker met peer review willen werken, maar…

Docent feedback blijft nodig Meer face-to-face discussie gewenst om peer feedback toe te lichten (Turnitin) (Meer) tijd om peer feedback te verwerken

Docenten Proces is beter te volgen, maar….

Kwaliteit van de peer feedback moet beter

Aanbevelingen Peer review is uitstekend online te ondersteunen Blended learning: online en face-to-face bijeenkomsten versterken elkaar

Feedback kwaliteit Uitkomsten evaluatie (in beide systemen)

Docenten Varieert sterk Meer tijd besteden aan monitoring en training studenten Duidelijker criteria opstellen

Studenten Veel vertrouwen in eigen feedbackkwaliteiten Kritisch t.a.v. de ontvangen feedback

Aanbeveling Neem tijd voor instructie aan studenten en docenten (hoe geef

je goede feedback? Hoe monitoren?) Besteed tussentijds regelmatig aandacht aan de kwaliteit van

de peer feedback

Kortom:

Goede begeleiding bij peer review is van groot belang, maar hoe doe je dat?

Kwaliteit van peer feedback is zorgenkindje

Tips: implementatie draaiboek

Conclusie

Twee goed functionerende systemen, keuze afhankelijk van wensen

Online peer review is stap vooruit in organiseren van het proces en begeleiden

Meer info

www.proof-project.nl Emailadressen:

b.a.m.vandenberg@uu.nl j.vanderhulst@ond.vu.nl