Online peer review Zelfstudiepowerpoint Inhoudsoverzicht 0.0. Traditioneel: feedback van docent...

Online peer reviewZelfstudiepowerpoint

Inhoudsoverzicht

0. Traditioneel: feedback van docent alleen

1. Basisschema peer feedback

2. Peer feedback met reflectie

3. Repliek en peer beoordeling

4. Samenwerken en peer feedback

A. Doel, product, criteria

B. Feedbackrondes

C. Begeleiding en beoordeling scheiden

X. Zie verder, contact

Willibrord Huisman, IOWOBea Edlinger, IOWO

Tekeningen Eva Huisman, 2011

Hoe werkt deze powerpoint?

U kunt deze powerpoint alleen als diavoorstelling bestuderen; de animaties zijn essentieel.

Klik telkens met uw muis of gebruik uw muiswiel of druk op de toets PgDn.

Zo worden de schema's stapsgewijs opgebouwd en verschijnen deze gele toelichtingen.

Gebruik niet de schuifbalk. U kunt deze ppt niet afdrukken.

Gij zult deze ppt niet kopiëren, maar u wordt verzocht er wel naar te verwijzen:www.iowo.nl/icto/elem/47

Daar staat de meest recente versie, plus de contactinformatie.

Zoniet, google dan naar "Willibrord Huisman"

Deze powerpoint is een onderdeel van de webpublicatiedie u vindt op www.iowo.nl/icto/elem/47

Waarschuwing

Als u deze tekst ziet, is er iets niet in orde:

uw computer toont de animaties niet, terwijl die essentieel zijn voor deze publicatie.

Gebruikt u het programma Powerpoint, druk dan nu op de toets F5 (of kies "Diavoorstelling").

Gebruikt u een smartphone of tablet, dan heeft deze vermoedelijk een incomplete powerpointviewer.

Deze publicatie is niet geschikt om af te drukken.

http://www.iowo.nl/icto/elem/47

http://www.iowo.nl/icto/elem/47

Willibrord Huisman - Online peer review 2

0. Traditioneel

Tijd

feedbackfeedbackfase:

- lees feedbackfeedback feedback

definitiefwerkstuk

schrijffase 2

- verwerk feedback- heroverweeg concept- schrijf definitief werkstuk

inleveren

Student 1 Student 2 Student 3

concept-werkstuk

schrijffase 1

- lees opdracht en instructie- schrijf concept

- lever concept in

docent beoordeelt werkstuk (?)

beoordelen6+ 7 8

1. Studentperspectief

Het échte primaire proces in het onderwijs is het leerproces. Het is niet de docent, maar de student die leert en daar zelf verantwoordelijk voor is.

De opleiding ondersteunt de student daarbij zo goed mogelijk, en is daarvoor verantwoordelijk. Dit gebeurt door een leeromgeving aan te bieden met faciliteiten, leermateriaal, en docenten.

In veel gevallen verzorgt de opleiding ook de toetsing.

In het WO is de docent vaak zowel de begeleider als de expert als de toetser en beoordelaar.

Deze schema's volgen één student en twee medestudenten. In de praktijk zijn het er eerder 20 tot 600; voor het principe van peer review maakt dat geen verschil.

4. Beoordelingsproblemen

De docent geeft uiteindelijk een beoordeling.

Veel docenten verdisconteren daarin de aard en de mate van feedback die ze eerder gegeven hebben: een goed werkstuk dat tot stand is gekomen met veel begeleiding krijgt eenzelfde cijfer als een minder goed, maar zelfstandig gemaakt werkstuk.

Studenten hebben weinig zicht op deze gang van zaken.

5. Eén op één interactie

In deze 'traditionele' gang van zaken werken studenten zelfstandig, hetgeen de helderheid van de beoordeling ten goede komt.

Er zijn echter drie grote nadelen.

1) De studenten zien het werk van anderen niet en spreken er nauwelijks met elkaar over (uitzonderingen daargelaten), terwijl ze van 'afkijken' en bespreken veel kunnen leren.

2) De studenten krijgen betrekkelijk weinig en vaak nogal laat feedback, doordat de docent onvoldoende tijd aan elke individuele student kan besteden.

3) De docent raakt bij grote studentenaantallen overbelast.

2. Leren door te doen

Mensen leren vooral door iets te dóen.

Ze leren ook wel door lezen, luisteren, of imiteren, maar alleen wanneer dat op dat moment nauw aansluit bij iets wat ze aan het doen zijn.

Om deze reden bestaat onderwijs voor een flink deel uit het verstrekken van opdrachten en het begeleiden van studenten die ze uitvoeren.

3. Feedback ontvangen

Het belang van terugkoppeling wordt algemeen onderkend. Idealiter is het terugkoppeling op het juiste moment van het juiste niveau en met de juiste mate van uitdaging (goede feedback zegt niet voor hoe het dan wel moet).

Docenten besteden veel tijd aan het geven van feedback. Velen klagen dat ze niet aan feedback op het goede niveau toekomen, doordat het meer basale niveau alle tijd vergt.

BB-assignmenten/of papier


1. Peer review: basisschema

feedback feedbackfase:

- lees concept van 2 anderen- schrijf daar feedback op- lees je ontvangen feedback


concept-werkstuk

Tijd

schrijffase 1


definitiefwerkstuk

schrijffase 2


inleveren

docent beoordeelt werkstuk

beoordelen

forum

1. Online versus bijeenkomsten

We beschrijven hier online peer review, omdat werken in online forums veel voordelen heeft boven peer review in groepsbijeenkomsten.

•in de digitale leeromgeving is het hele proces is tevoren goed te structureren;•de producten en feedback blijven in onderlinge samenhang zichtbaar;•men kan op elk tijdstip op elke plek werken;•schriftelijke communicatie is in het algemeen veel zorgvuldiger;•de wetenschappelijke praktijk werkt ook voor een groot deel schriftelijk (veelal via email).

Niettemin zijn er situaties waarin peer review beter face-to-face functioneert, bijvoorbeeld als het gaat om mondelinge vaardigheden. Soms kan men in één cursus beide vormen combineren.

3. Peer feedback: aannemelijk maken

Mensen geven niet vanzelf goede feedback op elkaars werk. Ook in onderwijs is er veel voor nodig voordat het goed loopt. Tenminste:

•maak het nut van feedback geven duidelijk;•laat zien wat goede feedback is;•zorg voor heldere regels en deadlines.

(Hierover meer elders in deze powerpoint.)

5. Beoordelingskwesties

In principe beoordeelt de docent (als examinator) uitsluitend het werkstuk, en niet de forumactiviteit, want die is immers voor & door studenten onderling.

In de praktijk geldt evenwel vaak dat iets wat niet meetelt ook wel niet belangrijk zal zijn. Daarom willen veel docenten én studenten dat de activiteiten in de forums wél meetellen in de eindbeoordeling.

De volgende drie schema's geven verschillende manieren waarop docenten met dit dilemma omgaan.

4. Activerend onderwijs

Bij peer review zijn de studenten veel actiever dan zonder; als het goed loopt werken ze er met meer plezier aan.

Het kost hun meer tijd en ze komen in een strakker tijdschema terecht. Een deel van de tijd verdienen ze terug doordat ze minder in hun eentje ploeteren.

De docent en de opleidingscoördinator berekenen tevoren wat de studiebelasting is, hoe die verdeeld is over de loop van de cursus, en of die verdeling past bij de vereiste activiteiten van andere cursussen.

Doorgaans betekent het invoeren van peer review dat andere onderwijsonderdelen van een cursus kunnen of moeten vervallen.

2. Informeel en formeel deel scheiden

Bij peer review zijn de forums van de peers (de studenten). De docent kijkt hooguit mee volgens tevoren bekend gemaakte gedragsregels.

Het bij de docent inleveren van een te beoordelen product kan juist beter niet in een forum.

Een digitale leeromgeving heeft daartoe een aparte, beveiligde constructie. In Blackboard heet die een assignment.


2. Reflectie op feedback

feedback feedbackfase:

- lees concept van 2 anderen- schrijf daar feedback op- lees je ontvangen feedback


concept-werkstuk

Tijd

schrijffase 1


definitiefwerkstuk

schrijffase 2


inleveren

docent beoordeelt werkstuk

beoordelen

forum

assignmenten/of papier

paragraaf over de feedback:

ontvangen

gegeven

plus feedbackparagraaf

1. Reflectie opnemen in werkstuk

De studenten nemen in de inleverversie van hun werkstuk reflecties op over:

- de feedback die ze ontvangen hebben;- wat ze ermee gedaan hebben;

- de feedback die ze gegeven hebben.

Dit gebeurt niet anoniem; ze vermelden de namen.

Daardoor kan de docent betrekkelijk gemakkelijk alsnog in het forum kijken wat die feedback nu feitelijk was.

Deze reflectie dient drie doelen:

- de studenten denken na over wat ze gedaan hebben;

- de studenten nemen het peerreviewproces serieuzer

- de docent krijgt zicht op het proces.

2. Meetellen of niet meetellen?

Docenten verschillen nogal van opvatting over de noodzaak om elke activiteit, dus ook de feedbackreflectie, 'mee te laten tellen'

Argumenten voor:

- de studenten nemen het serieus;

- indien feedback geven en reflecteren leerdoelen van de cursus of opleiding zijn, behoren die vaardigheden ook getoetst en beoordeeld te worden.

Argumenten tegen:

- de reflectie wordt minder 'eerlijk' : veel studenten schrijven niet iets negatiefs over hun medestudenten indien dat hen schaden kan;

- overmatig beoordelen op zulke details verschoolst het onderwijsleerproces nodeloos

- het is erg veel werk voor de docent om een dergelijke beoordeling (van een reflectie op feedback op een conceptwerkstuk) verantwoord uit te voeren.


3. Repliek; peer beoordeling


concept-werkstuk

Tijd

schrijffase 1


definitiefwerkstuk

schrijffase 2


inleveren

beoordelaar beoordeelt werkstuk

beoordelen

forum

assignmenten/of papier

?? peer beoordeling van de feedback telt voor 10% mee

feedbackfase:

- lees concept van 2 anderen- schrijf daar feedback

feedback

repliekfase:

- lees de ontvangen feedback- schrijf een repliek- inclusief een beoordeling

begeleider bekijkt de replieken en kijkt en handelt waar nodig

3. Meetellen of juist niet meetellen?

(Zie vooral ook de toelichting in de vorige dia).

In principe zou de beoordelaar de cijfers die de studenten elkaar in hun replieken geven, kunnen laten meetellen in een eindcijfer. Dit heeft echter nogal wat nadelen:

- Peer beoordeling met consequenties is in het HO nogal ongebruikelijk, en de studenten houden er niet van.- Het is lastig om eenduidige criteria te geven voor die beoordelingen.- Als er geen behoorlijke technische voorziening voor is, is het voor de docent erg veel werk om de cijfers te vergaren. In Blackboard betekent dit: een voor een overzetten in een spreadsheet.

NB: in een dia verderop in deze publicatie gaan we verder in op de toetsing en beoordeling.

2. Waartoe dienen replieken

Replieken hebben meestal als voordelen:

- de studenten krijgen 'feedback op hun feedback';- ontevreden studenten kunnen dit duidelijk laten blijken;- de docent kan snel zien waar iets aan de hand is, en daar verder gaan lezen, en eventueel ingrijpen of er in een werkcollege verder op ingaan.

Het is van groot belang dat de studenten weten wat het nut van de replieken is en waarvoor de docent ze gebruikt. Als dit niet helder is, werkt het systeem niet.

1. Van repliek dienen

De studenten schrijven een reactie op de feedback die ze van elkaar gekregen hebben. Ze geven daarin aan in hoeverre die feedback hen geholpen heeft verder te komen.

In een forum doen ze dit door een reply te schrijven op de reply waarin de feedback op hun concept staat. Ze beginnen de onderwerpsomschrijving van die reply met een cijfer, waarmee ze hun repliek samenvatten.

Een andere mogelijkheid, in Blackboard, is het gebruik van rating: de studenten kennen meer sterren toe aan feedback die hen meer geholpen heeft.

Beide methoden zijn, na een goede schriftelijke instructie, door studenten goed uit te voeren.


conceptwerkstukvan student 3 + 4





Student 5

Deelproduct schrijvenIn duo's:

Student 6

4. Samenwerken en peer feedback

Tijd

Feedbackregel:

Oneven student geeft fb aan twee vorige duo's;even student geeft fb aan twee volgende duo's.

feedback van student 9




Feedback krijgen

vervolgwerkvan student 5 + 6

Feedback verwerken





Feedback gevenZelfstandig:

1. Duo's maken het werkstuk

In dit voorbeeld werken duo's samen aan een werkstuk, bijvoorbeeld in combinatie met onderzoek dat ze gezamenlijk uitvoeren.

In dit schema volgen we de gang van zaken vanuit het perspectief van student 5 en student 6

2. Individueel feedback geven

De review doen de studenten juist individueel. Een weloverwogen feedbackregel is van groot belang.

Student 5 reviewt twee conceptwerkstukken.

Student 6 reviewt twee andere werkstukken.

3. Samen feedback krijgen

Na de feedbackronde is het conceptwerkstuk van 5&6 door vier studenten gereviewed.

Een goede feedbackregel bevat een uitbreiding: "los problemen onderling op".

De praktijk is namelijk minder systematisch dan de eerste regel aankan. Studenten aanspreken op hun flexibiliteit werkt dan.

4. Eindversie maken.

Student 5 en 6 maken samen de eindversie, nadat ze:

- vier andere conceptwerkstukken hebben gereviewed;- van vier studenten feedback hebben gekregen.

5. Traditioneel

Zonder peer review werken duo's in het algemeen uitsluitend samen, zonder het werk van anderen te zien.

Ook worden ze niet uitgedaagd om in dit proces juist iets zonder de partner te doen.

6. Met peer review

Duidelijk is, dat de studenten veel meer te doen hebben dan voorheen. Dat kan niet zomaar: door peer review aan een bestaand practicum toe te voegen zal er ergens anders in de cursus studiebelastingstijd moeten worden weggehaald.

Ook vereist de feedbackronde dat studenten zich strak aan de deadlines houden. Dit betekent dat er piekbelasting ontstaat. Het is noodzakelijk dat de planning van de activiteiten afgestemd wordt met die van de andere cursussen die tegelijkertijd lopen.


A. Doel, product, criteria

doel

eindtermen

begeleider

medestudenten

oefenproduct

opdrachten

1. Alles refereert aan het doel

Deze dia ondersteunt de essentie van doelgericht leren en doelgericht onderwijs, namelijk, dat alle voorlichtingsmateriaal, studiemateriaal, studentactiviteiten en docentactiviteiten gericht zijn op het doel van het betreffende studieonderdeel, dat zelf weer leidt tot het bereiken van de eindtermen.

Voor peer review betekent dit, dat de feedback die de studenten elkaar geven, betrekking heeft op de mate waarin het oefenproduct voldoet aan de criteria. Deze criteria zijn afgeleid van het doel. Het zijn dezelfde criteria die later bij de toetsing en beoordeling worden gebruikt.

De metafoor voor doel is hier "een boog kunnen bouwen". U kunt denken aan "het kunnen schrijven van een rapport". Eindterm: "een toren bouwen" komt dan overeen met "het schrijven van een wetenschappelijke publicatie".

Deze dia is ontleend aan de publicatie over didactische consistentie waarvan u de referentie aan het eind van deze powerpoint vindt. U kunt ook googelen.

Online peer review

toets

doel

8

introduceren opdracht Aopdracht B Opdracht C

proces begeleiden

inhoudelijk begeleiden

oefenproduct Boefenproduct A opr. C

deadlinesregels

toetsen &beoordelen

toetsproduct

B. Reviewrondes en toetsing

(c) IOWO 2011 8

1. [deze toelichting moet nog uitgewerkt]

In de praktijk draait de review binnen één cursus in een aantal cycli, waarin studenten telkens een ander, vaak steeds complexer deel van het doel proberen te bereiken.

Deze dia pleit voor het volledig scheiden van begeleiding en beoordeling: studenten worden niet beoordeeld op oefenproducten, de beoordelaar heeft deze studenten niet begeleid, en het toetsproduct is individueel tot stand gekomen.

De begeleider kán online begeleiden door op weldoordachte wijze op te treden in de forums. […] Met name in afstandsonderwijs is dit een mogelijke optie.

In campusonderwijs kan de docent beter werkcolleges gebruiken om de studenten belangrijke kwesties uit het peer-reviewproces te laten bespreken.

Onderdeel van de begeleiding is ook inhoudelijke begeleiding: studenten dienen zicht te krijgen op wat goed is en wat niet.


C. Begeleiding en beoordeling scheiden

doel

oefenproduct 1 oefenproduct 2

medestudenten

begeleider

examinator

summatieve,beoordelende

toetsing

nieuw toetsproduct

1. [toelichting verdient nog verdere uitwerking]

Deze dia is in wezen een verdubbeling van de vorige, maar dan met het perspectief omgedraaid. De vorige dia gaf de volgorde waarin alles zich afspeelt; deze laat zien hoe het ontworpen wordt.

De opleiding (of soms een externe instantie) stelt doelen vast, plus een toetsing die meet in hoeverre de student de doelen bereikt heeft. Als dit goed gedaan is, heeft de student die de toets wil behalen hetzelfde voor ogen als de student die de doelen wil bereiken.

De student die die doelen nog niet bereikt heeft dient dan eerst te leren. De cursus, inclusief docent, materiaal, leeromgeving, en medestudenten zorgen ervoor dat dit leren effectief is.

Bekende voorbeelden hiervan zijn de rijexamens die geheel los staan van de rijlessen, en de internationale examens taalvaardigheid die los staan van lokale taalcursussen, gericht op het behalen van die examens.

10(c) IOWO 2011Online peer review

1. Essentieel: goede, schriftelijke opdrachten

Peer review verloopt alleen goed indien de studenten bijzonder duidelijke opdrachten krijgen. Idealiter staan deze in de digitale leeromgeving bij de forums waar zich de interactie afspeelt.

11

Opdrachtstructuur

(c) IOWO 2011Online peer review

1. Doelgerichte opdrachtstructuur

U ziet hetzelfde document als in de vorige dia, maar dan in de structuurweergave van Word. Het verdient aanbeveling om alle opdrachten volgens dezelfde structuur op te zetten.

Kenmerkend voor een goede opdracht in doelgericht onderwijs is dat doel en product vooraan staan, en dat daaronder pas de instructie komt via welke de studenten dit product kunnen maken.

Bij Product staan (hier niet zichtbaar) tevens de criteria waaraan het product moet voldoen; dat zijn dezelfde criteria als waarop de studenten elkaar feedback geven, en dezelfde waarop uiteindelijk het toetsproduct wordt beoordeeld.

Interessant is instructie f. Vaak geldt: hoe minder de docent zich met de forums bemoeit, hoe beter het verloopt. Het geldt ook voor allerlei onvolkomenheden met feedbackregels, achterblijvers, etcetera.


1. Praktijkgeval: forum

Eerstejaarsstudenten aan het werk. De aanwijzing om een originele, unieke titel te bedenken voor hun werk hebben ze nog niet onder de knie.


1. Feedback als aparte tekst

Studenten kunnen hun feedback schrijven (of elders schrijven en dan plakken) in een nieuw bericht (een reply) in het forum. Het voordeel hiervan is dat de feedback op wat meer geïntegreerd is en zich niet richt op punten en komma's.

Sommige docenten geven de studenten in de eerste reviewcyclus feedbackformulieren om de feedback te richten. Het werkt voor sommige studenten goed, maar anderen voelen zich in een keurslijf gedrukt.


1. Feedback in het document

Een andere vorm van feedback wordt in het bestand geschreven (en daarna als bijlage aan het replybericht in het forum toegevoegd).

Sommige docenten stimuleren juist deze manier van werken. Men kan het ook aan de studenten zelf overlaten.

In dit voorbeeld gebruikt de student de Word-functie voor opmerkingen.


1. Niet essentieel, wel praktisch: het grade centre

Blackboard bevat een constructie "assignment" die bedoeld is om opdrachtuitwerkingen formeel in te leveren bij de docent. Het voordeel hiervan is dat er een duidelijke scheiding is tussen het onderlinge werk in het forum en het moment waarop de student het werk goed genoeg vindt. Bovendien kan een assignment automatisch dichtgezet worden, bijvoorbeeld op een uur na de deadline.

De opdrachtuitwerkingen komen terecht in het 'Grade Centre', van waaruit de docent ze kan openen, beoordelen, eventueel zelfs van feedback voorzien, en weer terugplaatsen. De student ziet dit vervolgens in 'My Grades' . Het grade centre functioneert tevens als cijferboekje.

Zowel assignment als grade centre zijn niet essentieel voor peer review. Ze zijn wel onnoemelijk veel praktischer dan allerlei papieren gedoe en het gebruik van e-mail.


Meer…

Zie:

• deze powerpoint in laatste versie, plus verwijzingen:www.iowo.nl/icto/elem/47

• webpublicatie "Didactische consistentie"www.iowo.nl/icto/elem/63

• Willibrord Huisman, IOWOhttp://www.ru.nl/iowo/WillibrordHuisman

• Willibrord Huisman onderwijsadviseurwww.willibrordhuisman.nl

Helaas, IOWO is opgeheven

IOWO is opgeheven per 31 december 2011. Vooralsnog blijven de webadressen wel werken.

Mocht u dit lezen in een tijd dat ook dat niet meer zo is, vertrouw dan op Google en zoek daarmee de dan geldende adressen van deze publicaties en van de auteur op.

Online peer review Zelfstudiepowerpoint Inhoudsoverzicht 0.0. Traditioneel: feedback van docent...

Documents

Transcript of Online peer review Zelfstudiepowerpoint Inhoudsoverzicht 0.0. Traditioneel: feedback van docent...