Onderwijsinnovatie Departement Technologie/ Isabelle Claeys 1 Toetsen binnen projectonderwijs Enkele...

Onderwijsinnovatie Departement Technologie/ Isabelle Claeys

1

Toetsen binnen projectonderwijs

Enkele voorbeelden van ‘anders evalueren’


2

1. Terugblik vorige bijscholingPO als didactische werkvorm. Veel boemboem, weinig

blabla.


3

1. Waarom anders? 2. Wat is projectonderwijs?

2.1 onderwijs- of werkvorm

2.2 groep studenten 2.3 opdracht uit beroepsrealiteit2.4 zelfstandig maar onder

begeleiding2.5 gedurende langere periode2.6 analyseren2.7 concreet eindresultaat


4

3. Faciliteiten

4. Handleiding voor studenten5. Organiseren van projectonderwijs6. Opkikker7. Extra info in map

Vragen- en discussieronde…


5

2. Link vorige en huidige bijscholing Enkele stellingen.


6

Stelling 1:

“Vernieuwingen, zoals het invoeren van activerende onderwijsvormen, verliezen hun

kracht omdat de wijze van toetsen niet aansluit.”


7

Stelling 2:

“Het is door de manier van toetsen dat je de manier van leren stuurt. Voor wat je beloond

wordt, doe je inspanningen.”


8

Stelling 3:

“Wanneer studenten bij projectonderwijs toch nog énkel op een traditionele manier worden geëvalueerd, krijgen zij de boodschap dat ook bij deze nieuwe manier van werken énkel het

reproduceren van kennis van belang is.”


9

Stelling 4:

“Nieuwe evaluatievormen komen niet uit de lucht vallen. Evaluatie verandert omdat

onderwijs verandert.”


10


11

3. Probleemsituering DEP TECH Begin bij het begin.


12

Hamvraag evalueren binnen PO:

Welke competenties/leerdoelen zijn met het project vooropgezet én welke toetsvormen kunnen die

competenties/leerdoelen best naar waarde schatten?

Cfr stelling 1: PO wint aan krachtCfr stelling 2: toetsen stuurt het leren


13

Voorbeeld competentie 1:

Laboratoriumtechnoloog:Hij kan voor erg gevarieerde

analyses/onderzoeken een analyseprocedure opzetten en ze veilig uitvoeren.

Vraagje: Hoe voelt u zich bij bovenstaande competentie?


14

Voorbeeld competentie 2:

Probleemoplossend gedrag: Creativiteit Denk- en redeneervaardig Beslissingsvermogen

Vraagje: Hoe voelt u zich bij bovenstaande competentie?


15

Competenties zoals in voorbeeld 1 te evalueren in:

Een theoretisch verslag Een presentatie Een af te leveren (tussen)product Verslag van de vergadering, labo Observatie (met checklist!) Praktijkexamen …


16

Knelpunt = evaluatie van competenties zoals in voorbeeld 2

Maatschappelijk gewenste competenties die nu nét in projectonderwijs als werkvorm speciale aandacht krijgen:

zelfstandigheid, creativiteit, samenwerken, kritisch zijn, accuraat werken, enthousiasme, …

Evaluatie van attitudes!


17

Diversiteit aan competenties binnen PO:

Traditionele toetsvormen worden binnen PO niet aan de kant geschoven. Ze dienen alleen te

worden aangevuld met andere evaluatievormen.


18

… Ze dienen alleen te worden aangevuld met andere evaluatievormen!

Knelpunt en dus focus van deze bijscholing.

Begint u toch maar bij het begin!


19

4. Goochelen met 6 begrippen Zodat u weet waarom u anders evalueert.


20

Na antwoord op de hamvraag, uzelf nieuwe vragen stellen…


21

Product- en procesevaluatie: WAT? Formatieve en summatieve evaluatie: WANNEER en

WAAROM? Individuele en groepsevaluatie: WIE?

Straks af te toetsen aan de

voorbeelden = nadenken over het gebruik van de instrumenten.


22

4.1 Productevaluatie

Hier onderzoekt men de resultaten van het projectwerk op het vlak van de theorie, de praktijk en het groepsproces. Men gaat na of het product beantwoordt aan de gestelde doelstellingen en specificaties.

Bv: “Kan de student een analyseprocedure opzetten?”Bv: “Voldoet het product aan de gewenste specificaties?”


23

4.2 Procesevaluatie

Hierbij gaat het niet zozeer om het uiteindelijke resultaat, maar wordt vooral gekeken naar de manier waarop de doelstellingen zijn nagestreefd, hoe het taak- en groepsproces geëvolueerd zijn.

Bv: “Welke stappen heeft de student genomen om zijn opzet van analyseprocedures te verbeteren.”Bv: “Hoe heeft de student het project aangepakt?”


24

4.3 Formatieve evaluatie (= diagnosticerend)

Formatieve evaluatie heeft als doel om op diverse momenten tijdens het project feedback te verschaffen aan de studenten over de gemaakte vorderingen. Tekorten en foutieve inzichten kunnen zo tijdig opgespoord en bijgestuurd worden. Het gaat dus om ondersteuning van het leerproces.

Bv: Tussentijds om bij te sturen.


25

4.4 Summatieve evaluatie (= certificerend)

Summatieve evaluatie heeft plaats op het einde van het project. De uitgangsvraag voor deze evaluatie is in hoeverre de student of de groep de vooropgestelde competenties hebben bereikt? De verkregen informatie wordt gebruikt om een eindscore toe te kennen.

Bv: Op het einde van het project om een eindscore toe te kennen.


26

4.5 Individuele evaluatie

Het geven van feedback en/of het toekennen van een eindscore aan elk individu van de projectgroep. Kan naast groepsevaluatie gebruikt worden om meeliften te vermijden.


27

4.6 Groepsevaluatie

Het geven van feedback en/of het toekennen van een eindscore aan de groep in zijn geheel.


28

Formatief

Product

Groep

Summatief

Proces

Individu

Keuze voor evaluatie-instrument


29

5. (Anders) evalueren binnen PO

Een waaier aan voorbeelden en evenveel

samenraapsels.


30

5.1 Self-assessmentSpiegeltje, spiegeltje aan de wand…


31

Self-assessment wordt beschreven als de betrokkenheid van de student bij het beoordelen van het eigen leren.

Meestal wordt deze vorm van beoordelen gebruikt bij de formatieve evaluatie om zo de reflectie op het eigen leerproces en de resultaten te bevorderen.


32


33

Het doel van self-assessment is het ontwikkelen van vaardigheden zoals zelfkritiek en reflectief denken.

meer zelfkennis/bewustzijn.

grondiger studeren/leren.

voorbereiding op beroepspraktijk.


34

Self-assessment vind je in allerlei vormen en voor allerlei competenties:

Vb.s1: Zelfevaluatie-invulblad voor presentatie

Vb.s2: Vijfpuntenschaal ‘discussie leiden’Vb.s3: Vorderingen per projectweekVb.s4: Werken met symbolenVb.s5: Scoreformulier voor projectvaardigheden


35

Self-assessment vind je in allerlei vormen en voor allerlei competenties:

Vb.s6: Invulblad na projectgroepbijeenkomst

Vb.s7: Invulblad na afloop van projectVb.s8: Evaluatieformulier groepsgebeuren

De student een ontwikkelingsplan laten uitschrijven.


36

Formatief

Product

GroepGroep

SummatiefSummatief

Proces

Individu

Self-assessment


37

5.2 Peer-assessment Appelen met peren vergelijken.


38

Peer-assessment is een proces waarbij de studenten hun medestudenten evalueren.

Bij peer-assessment neemt de student de verantwoordelijkheid op zich om kritische beoordelingen te geven overde werkzaamheden van medestudenten.


39

Peer-assessment


40

Nadenkertje:

Self-assessment en peer-assessment hangen onlosmakelijk aan elkaar vast:

Door het beoordelen van medestudenten leert de student ook zien wat de eigen sterke en zwakke punten zijn.


41

Peer-assessment vind je in allerlei vormen en voor allerlei competenties:

Vb.p1: Beoordelen mondelinge presentatie

Vb.p2: Mannetje in boomVb.p3: Evaluatie individu in groepVb.p4: Tabelvorm ‘feedback geven’


42

Peer-assessment vind je in allerlei vormen en voor allerlei competenties:

Vb.p5: Beoordelen (juridisch) verslag

Vb.p6: Evaluatielijst groepswerkVb.p7: Beoordelingsformulier ‘scriptie schrijven’.


43

Formatief

Product

Groep

Summatief

ProcesProces

Individu

Peer-assessment


44

5.3 Een beoordelingsschaal ontwerpen

Het is niet moeilijk, het is gemakkelijk.


45

Een vraagje om erin te komen:

“Wat doet iemand waardoor hij zich tot een goede vriend maakt (voor u persoonlijk)?”


46

Werkwijze:

1. Kies de vooropgestelde competentie of attitude2. Ga op zoek naar criteria (brainstorm) 3. Sorteer en categoriseer de criteria indien nodig4. Zoek een passende schaal5. Breng samen in een evaluatielijst


47

En nu serieus:

1. De attitude ‘doorzettingsvermogen’2. Ga op zoek naar criteria:

Stel de vraag: Welk gedrag stelt iemand met doorzettings-vermogen? = de attitude ‘grijpen’.


48

3. Sorteer en categoriseer de criteria indien nodig. Voorbeeld mogelijk resultaat:

Doorzettingsvermogen

1. Herbegint bij mislukkingen.2. Blijvende inzet bij langdurige inspanningen.3. Pakt onaangename taken aan.


49

4. Zoek een passende schaal.

Bijvoorbeeld:

Mijn gedrag is een voorbeeld voor anderen; dit kan ik; hier moet ik nog aan werken; hier schiet ik werkelijk tekort. (self-assessment)

Voldoende, voldoende met leemtes, onvoldoende. (self- en peer-assessment)


50

Visuele schaal

(self-assessment)

Schaal met gedragsniveaus: 0 = deficiëntieniveau, 1 = kennen, 2 = kunnen, 3 = zijn.

(self- en peer-assessment)(zie voorbeeld ‘evaluatie van attitudes’, pagina 389-390)


51

3 = beter dan de rest, 2 = gemiddeld, 1 = niet zo goed als de rest van de groep, 0 = onvoldoende, -1 = zwak, tegenwerken.

(self- en peer-assessment)

-1 = onvoldoende, 0 = redelijk, 1 = goed, 2 = zeer goed. (self- en peer-assessment)

Likert-schaal: 1 = sterk mee oneens, 2 = mee oneens, 3 = neutraal, 4 = mee eens, 5 = sterk mee eens.

(self- en peer-assessment)


52

5. Breng samen in een evaluatielijst

Zie aangebrachte voorbeelden in bijlagen over self- en peer assessment: s2, s5, p4, p5, p6, + document ‘evaluatie van attitudes’ p.389-390.


53

5.4 Een individuele scoreOm meelifters te vermijden.


54

Probleemstelling:

“Bij projectonderwijs wordt door de docent meestal een groepscijfer gegeven op de projectopdracht. Dit komt niet altijd op een eerlijke manier toe aan de individuele inspanningen.”

Er bestaan scoringsmethodes die aan dit probleem toekomen.


55

1. Verdeling van het groepscijfer door de groep:

Stel:

Projectgroep = 3 studenten. De groep krijgt van docent 60/100.De studenten kunnen 3 keer 60 = 180 verdelen over de groep (zichzelf inbegrepen) over 1 of meerdere criteria.

180


56

Criterium Bart Eva Stijn

Bart geeft 80 40 60

Eva geeft 60 60 60

Stijn geeft 70 50 60

Bart krijgt: (80+60+70)/3 = 70%Eva krijgt: (40+60+50)/3 = 50%Stijn krijgt: (60+60+60)/3 = 60%


57

2. Proces en product apart evalueren:

Docent beoordeelt het groepsproduct. (= groep)

Proces wordt beoordeeld door self- en/of peer-assessment, logboek, reflectieverslag, reflectiegesprek, schriftelijk examen... (= individueel)

Mogelijke verdeling 50/50.


58

3. Peer- assessment factor:

Docent geeft een cijfer op het product. Dit cijfer wordt vermenigvuldigd met een coëfficiënt om een individueel cijfer te bekomen.

Individueel cijfer = groepscijfer x peer assessment factor


59

Peer-assessment factor:

Grondige bespreking uitgewerkt voorbeeld in map: documenten ‘score geven bij self- en peer-assessment’. Pagina 84-87.


60

4. Groepscijfer + of – een bijkomend cijfer

Grondige bespreking uitgewerkt voorbeeld in map: documenten ‘score geven bij self- en peer-assessment’. Pagina 88.


61

5.4 Co-assessmentTer info.


62

Bij co-assessment bepalen de docent en de studenten samen de criteria waarop beoordeeld zal worden. Ze evalueren ook samen. De docent heeft wel de uiteindelijke beslissingsmacht.


63

5.6 LogboekEen soort publiek dagboek.


64

Een logboek is een geschikt instrument om de individuele vordering van elke student bij te houden.

Op de dagen dat aan het project/een taak wordt gewerkt, dienen de studenten vast te leggen welke (project)activiteiten ze hebben gedaan.

Het is de bedoeling dat de student dankzij het schrijven van een logboek reflecteert over zijn leeractiviteiten.


65

Voorbeeld van een instructie die aan de studenten kan gegeven worden:

“Van alle projectactiviteiten die je doet, houd je een logboek bij op elke dag dat je ermee bezig bent geweest. Voor dat logboek mag je een schrift gebruiken. Je mag het ook op PC doen. Dat logboek heb je altijd bij je, zodat je project-begeleider het altijd kan inzien. Indien je op PC werkt, zorg je voor een diskette waar het logboek op staat.”


66

Hou bij het uitwerken van je logboek rekening met volgende vragen:

1. Welke werkafspraken zijn gemaakt?2. Welke rol heb jij gespeeld bij het totstandkomen

van die afspraken? 3. Welke activiteiten heb je uitgevoerd? 4. Wat zijn de resultaten van je activiteiten?5. Hoe verliep de samenwerking met de anderen?


67

6. Als de samenwerking (niet) goed verliep, wat was de oorzaak?

7. Verloopt alles volgens planning? 8. Zo niet, hoe komt dat dan en welke

maatregelen neem je om dit te verbeteren? 9. Heb je vandaag iets bijgeleerd over de inhoud

van het project of jezelf? Wat? 10. Zijn er nog bijzonderheden?


68

Hamvraag en bijvragen zijn beantwoord, keuze viel voor logboek. Hoe het logboek vervolgens evalueren?

Formatief:Maak tijd om het logboek tussentijds met elke individuele student te bespreken. Vorm van permanente evaluatie.


69

Summatief:1) Maak een lijst van criteria. 2) Ga na in welke mate u de criteria laat doorwegen.3) Ken aan elk criterium een maximum score toe.4) Toets het logboek af aan de lijst.

De lijst is een middel om de toegekende scores bij uw studenten te verantwoorden indien onenigheid. Het is vooral een middel om gerichte feedback te geven over het functioneren.


70

Formatief

Product

GroepGroep

Summatief

Proces

Individu

Logboek


71

5.7 Reflectieverslag Hoe gaat het met u?


72

Nadeel logboek: omvangrijk om na te lezen. Oplossing: logboek als basis voor reflectieverslag.

Logboek wordt gebruikt als bron voor verslag, dient wel aan de docent ingeleverd te worden.

Reflectieverslag mag zich beperken tot enkele A4’tjes, gestaafd met fragmenten uit het logboek.


73

Voorbeeld van een instructie die aan de studenten kan gegeven worden:

“Op basis van je logboek dien je een reflectieverslag uit te schrijven. Deze toetsvorm is een belangrijk middel voor jou om zicht te krijgen op de manier waarop je hebt geleerd. Het verslag dient niet meer te beslaan dan 4 bladzijden. Tracht zo goed mogelijk te antwoorden op onderstaande vragen en tracht elke vraag te illustreren met een origineel fragment uit je logboek.”


74

Hou bij het schrijven van je reflectieverslag rekening met volgende vragen:

1. Als je eerlijk terugkijkt, wat is dan je aandeel geweest in het project op het vlak van …?

2. Op welke vlakken was je beter dan de anderen? 3. Op welke vlakken was je minder dan de anderen? 4. Aan welke punten dien je prioritair nog te

werken? 5. Hoe zou je dat kunnen doen?


75

Reflectieverslag wordt meestal gebruikt om het leerproces te beoordelen. Criteria waarop u kan beoordelen zijn:

1) Hoe scherp heeft de student zichzelf geanalyseerd? 2) Hoe eerlijk is hij geweest? 3) Heeft hij zowel benoemd wat goed als wat fout ging? 4) Is hij niets belangrijks vergeten? 5) Zijn er leerpunten opgenomen? 6) Heeft hij ook zijn gevoelens laten spreken? 7) …


76

Tip: De bespreking van het reflectieverslag kan een onderdeel zijn van het mondeling examen.

Opgelet: de richtlijnen voor de studenten en de criteria van beoordeling hangen opnieuw af van de competentie die u met het verslag wil meten.


77

Formatief

Product

GroepGroep

Summatief

Proces

Individu

Reflectieverslag


78

5.8 PortfolioIs dat niet van die kunstenaars?


79

Inderdaad afgeleid van de mode- en kunstwereld en overgenomen in het onderwijs.

Portfolio: Grote kartonnen map met voorbeeldmateriaal, voortgangsmateriaal, beste werken waarmee kunstenaars klanten/opdrachten in de wacht probeerden te slepen.


80

Doelstelling:

De student dient zijn ontwikkeling in bepaalde competenties te illustreren/documenteren aan de hand van relevante stukken die hij al dan niet zelf selecteert en bundelt.


81

Wat kan erin?

Verslagen, rapporten, ppt presentaties, mails, plannen, literatuur, evaluaties door docenten/medestudenten, video’s, diskettes, foto’s, geluidsopnames, taken, proefwerken, tekeningen, ontwerpen, zelfevaluaties, fragmenten uit logboek, …

EN SOWIESO een reflectieverslag op de ontwikkeling met de stukken als bewijslast.


82

Nadruk mogelijks op het proces leggen: Bijvoorbeeld eerste ontwerp en laatste ontwerp

met reflectie daarop. (procesportfolio)

Nadruk mogelijks op het product: Bijvoorbeeld enkel de beste werken opnemen met reflectie daarop. (bestwerk-portfolio)


83

In projectonderwijs vele mogelijkheden:

Map of bundel laten aanleggen met bv. álle verslagen van de vergaderingen of het beste en minst goede verslag, idem voor ontwerpen of tekeningen, stukken uit het logboek, foto’s van de evolutie van het te maken product, … Opgelet: met reflectie van de student of groep op de gemaakte vorderingen.

De inhoud hangt tevens af of u een groepsportfolio of een individueel portfolio verwacht.


84

Zie bijlagen:

Uitgebreide info over portfolio’s

Goed voorbeeld van handleiding voor studenten inzake uitwerken van een portfolio.

Mogelijke werkbladen voor reflectie.


85

Mogelijke criteria waarop u kan evalueren?

Authenticiteit: is het bewijs daadwerkelijk afkomstig van de student of de groep?

Actualiteit: weerspiegelt het bewijs het huidige competentieniveau?

Relevantie: hoe specifiek is het bewijs voor de competentie?


86

Kwaliteit van het eindproduct: in welke mate komt het bewijs overeen met de specificaties, gewenste criteria?

Kwantiteit: is het aantal bewijzen voldoende om uitspraak te doen over de competentie?

Variatie: is de competentie in verschillende contexten bewezen?

Creativiteit: heeft de student of groep een persoonlijk tintje gegeven aan het portfolio?


87

Formatief

Product

Groep

Summatief

Proces

Individu

Portfolio


88

5.9 Tip voor theoretisch/inhoudelijk verslag


89

Geef de richtlijnen voor het uitschrijven van het verslag en de criteria waarop beoordeeld wordt, op voorhand mee aan de studenten.

Bewustzijn van de leerdoelen bij studenten stuurt het ‘leren leren’ en ‘actief leren’.

Bewustzijn van de leerdoelen bij docenten stuurt het onderwijsproces in de vooropgestelde richting.


90

6. Tot slot


91

Weet dat alle voorgaande evaluatie-instrumenten geen doel op zich zijn, wel een middel: namelijk alle voorgaande instrumenten zorgen voor een LEERMOMENT bij de student.

Laat het evalueren geen dood spoor zijn! Maak tijd voor feedback, op welke minieme manier ook. Als dit ontbreekt gaan de studenten op een calculerende manier te werk om de docent tevreden te stellen, of twijfelen de studenten aan de zin van reflectie.


92

Bevindingen uit onderzoek

Studenten staan achter de nieuwe assessmentvormen.

Nieuwe assessmentvormen leiden tot betere prestaties van studenten: de toetsvorm bepaalt mee hoe studenten leren.

Studenten zijn tevreden over hun actieve rol bij assessmentvormen.

Soms is er twijfel over eigen evaluatiecapaciteiten.


93

Veel succes én …U weet mij wonen.

Onderwijsinnovatie Departement Technologie/ Isabelle Claeys 1 Toetsen binnen projectonderwijs Enkele...

Documents

Transcript of Onderwijsinnovatie Departement Technologie/ Isabelle Claeys 1 Toetsen binnen projectonderwijs Enkele...