Feedback

geven op

papersTijdswinst en

kwaliteitsverbetering met

digitale middelen

Sumit MehraOnderwijskundig adviseur & docent

Universiteit Utrecht &Hogeschool van Amsterdam

Inhoud

Onderwijskundige achtergrond

Aanleiding / eerdere ervaring

Opzet pilots

Ervaringen & opbrengsten

Conclusies & toekomstplannen

Vragen & discussie

OPBOUW

ACHTERGROND

ACHTERGROND

ACHTERGROND

Maar wat bepaalt het

rendement van het leren?

ACHTERGROND

Hattie (2009)

800 meta-analyses

gecombineerd >

53.000 studies

ACHTERGROND

ACHTERGROND

BELANG FEEDBACK

Formatief toetsen

Toetsen stuurt het leerproces Geeft de relevantie weer (feed-up)

Stimuleert zelfreflectie

Stimuleert discussie met docent en peers

Motiveert

Oefening baart kunst Geeft inzicht in huidige prestatie niveau (feedback)

Geeft verbeterstrategieën (feedforward)

Bekendheid met toetsvorm

Onderwijs afstemmen

ACHTERGROND

Regelmatig (formatief) toetsen en

studenten van kwalitatief goede

feedback voorzien is goed voor

het leerrendement

ACHTERGROND

Maar….

AANLEIDING

AANLEIDING

AANLEIDING

AANLEIDING

Feedback geven is nuttig

maar arbeidsintensief en kwaliteit

laat soms te wensen over

SAMENGEVAT

DIGITALE TOOLS

TURNITIN

• Digitaal nakijken (docent)

Grade Mark

• Peer review (student)

Peer Mark

• Plagiaatdetectie

Originality Report

DIGITALE TOOLS

STATISTIEKEN

DIGITALE TOOLS

DIGITALE TOOLS

demo

PILOTS

Projecten

Psychologie, UvA (2008)

SCALA – 28 pilots

Universiteit Utrecht

Vrije Universiteit

Hogeschool van Utrecht

Hogeschool van

Amsterdam

PILOTS

Mogelijke winsten

Herbruikbaarheid commentaar > minder herhaling > lagere werkdruk (“losse” opmerkingen blijft mogelijk!)

Betere feedback (eenmalig goed uitdenken + consistentie)

Meer bruikbare feedback (leesbaar + overzicht van sterke en zwakke kanten via Rubric scorekaart)

Betere signalering van & afstemming op veel voorkomende fouten (statistieken)

Meer structuur voor nieuwe docenten

E-opslag: minder rompslomp en inzicht in verleden (archief)

PILOTS

“pre-pilots” bij de HvA

1ste jaars project bij Toegepaste Psychologie Onderzoeksverslag in 5 deelopdrachten

Groepsproduct

5 docenten / 150 studenten

2de jaars project HBO-Rechten Adviesrapport

Groepsproduct

7 docenten / 200 studenten

Aanpak

Presentaties MT/examencommissie

Projectteam

Circa 5 werksessies voor ontwikkelen feedback + rubrics

Trainingsuurtje/ handleiding Turnitin voor docenten

Lopende ondersteuning (coördinator)

Evaluatie (vragenlijsten + panelgesprek)

PILOTS

Ervaringen

HBO-Rechten

pilot

Opbrengsten HBO-Rechten pilot

Rubric met 14 beoordelingscriteria op 5-

puntschaal (70 individuele niveaubeschrijvingen!)

43 herbruikbare feedback opmerkingen

(Quickmarks)

ERVARINGEN

Ervaringen HBO-Rechten pilot

Quickmarks

Taal

Rubrics

Nabesprekingen

Reacties van studenten

ERVARINGEN

ERVARINGEN

Ervaringen

Toegepaste

Psychologie

pilot

Opbrengsten TP pilot

5 Rubrics met 22 criteria op een 4-puntschaal

94 herbruikbare feedback opmerkingen verdeeld in 5 sets (Quickmarks)

ERVARINGEN

TP docenten over Quickmarks

“..geeft een goede leidraad om na te kijken”

“ik mis minder”

“nu weet ik zeker dat ik de hele lijn pak en dat het niet afhankelijk is van mijn aandacht...”

“ik ben meer feedback gaan geven”

ERVARINGEN

TP docenten over Quickmarks

“..ik had ietjes tijdswinst”

“het is vooral betere feedback”

“laat ik het zo zeggen, als ik deze hoeveelheid feedback zou geven op papier, dan was ik er 2x zo lang mee bezig”

ERVARINGEN

TP docenten over Rubrics

“...ik vind het fijn om het [cijfer]

hard te maken, maar ook om het

overzicht te hebben”

ERVARINGEN

TP studenten over TII (n=100)

Vonden het makkelijk om de opdrachten in te leveren (77% vs 4%)

kregen snel feedback (85% vs 2%),

duidelijke feedback (75% vs 9%) en

Leerzame feedback (87% vs 4%) die ze gemiddeld het rapportcijfer 7,8 gaven

De studenten beoorde de feedback met een 7,8.

80% van de studenten wilde vaker feedback op deze manier

ERVARINGEN

Conclusie &

toekomstplannen

Algemene conclusies

Geringe leercurve

Zowel doceten als studenten zijn enthousiast

Tijdswinst?

Betere beoordelingen & feedback

Zorgt voor een kwaliteitsimpuls (consensusvorming)

….maar (eenmalige) tijdsinvestering van docenten is nodig!

CONCLUSIE

Toekomst plannen

Olievlek werking: steeds meer cursussen gebruiken TII

Uitwisseling met andere instellingen die er mee werken (UU, VU, Saxion, etc)

Ook niet-geschreven producten (video’s, mondelinge presentaties, graphics, etc)

Wetenschappelijk onderzoek (publicaties & conferenties)

TOEKOMST

Vragen?

DISCUSSIE

Meer informatie, advies of projectbegeleiding:

s.mehra@uu.nl / http://nl.linkedin.com/in/nlsumitmehra