MODULE 6: Evaluatie

Krachtige Leeromgevingen

Donderdag 8 oktober 2015

Prof. dr. Bram De Wever

De vragen…

1. Wat is evaluatie?

2. Waarom evalueren we?

3. Wat is het doel van evaluatie?

4. Wat is de functie van evaluatie?

5. Wanneer evalueren we?

6. Wie evalueert wie?

Nog twee vragen

• Positieve evaluatie ervaringen

– Omschrijf kort

• Een paper evalueren, hoe ga je dat aanpakken?

– Omschrijf kort

Opdracht

• Evalueer de volgende cases

(1) Ellen, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 27

(2) Stijn, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 18

(3) Sofie, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 72

(4) Arne, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 63

(5) Ellen, tweede leerjaar

Ellen (zelfde als daarnet)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 27

Ellen (op een eerder moment)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 25

• 9 x 3 = 27

(6) Stijn, tweede leerjaar

Stijn (zelfde als daarnet)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 18

Stijn (op een eerder moment)

• 3 x 2 = 6

• 10 : 2 = 20

• 4 x 4 = 12

• 6 x 5 = 35

• 9 x 3 = 18

(7) Els, derde leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 63

(A) Bespreek de 3 niveaus in het OR

• Het onderwijsknudig refrentiekader bestaat uit drie verschillende niveaus: het micro-, het macro-, en het meso-nivau.

(B)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau.

(C)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau. Het microniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het macroniveau focust op beleidsorganen en beslissingnemers.

(D)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het macro-, het meso-, en het micro-niveau. Het macroniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het microniveau focust op beleidsorganen en beslissingnemers.

Jullie evaluatie van de cases

(1) Ellen, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 27

(2) Stijn, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 18

(3) Sofie, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 72

(4) Arne, tweede leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 63

(5) Ellen, tweede leerjaar

Ellen (zelfde als daarnet)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 27

Ellen (op een eerder moment)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 25

• 9 x 3 = 27

(6) Stijn, tweede leerjaar

Stijn (zelfde als daarnet)

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 9 x 3 = 18

Stijn (op een eerder moment)

• 3 x 2 = 6

• 10 : 2 = 20

• 4 x 4 = 12

• 6 x 5 = 35

• 9 x 3 = 18

(7) Els, derde leerjaar

• 3 x 2 = 6

• 10 : 2 = 5

• 4 x 4 = 16

• 6 x 5 = 30

• 8 x 9 = 63

(A) Bespreek de 3 niveaus in het OR

• Het onderwijsknudig refrentiekader bestaat uit drie verschillende niveaus: het micro-, het macro-, en het meso-nivau.

(B)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau.

(C)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau. Het microniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het macroniveau focust op beleidsorganen en beslissingnemers.

(D)

• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het macro-, het meso-, en het micro-niveau. Het macroniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het microniveau focust op beleidsorganen en beslissingnemers.

Reflectie op jullie evaluatie

• Cijfer versus tekstuele evaluatie?

• Cijfers gelijk? Belang van context? (gewogen grading)

• Heb je vergeleken (norm ipv criterium)?

• Heb je scores aangepast van voorgaand gescoorde cases?

• Had je al dan niet aandacht voor eerdere prestaties van dezelfde leerling? (ipsative)

Wat is evaluatie?

• Thorpe (1988):

• Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact.

Wat is evaluatie?

• Dus naast het meten van instructie-effecten bij de lerenden ook het gehele systeem van instructie evalueren – integrale kwaliteitszorg

Assessment versus evaluation

• Onderscheid in het Engels: Britse context

• Assessment

– De kwaliteit van het gedrag van de lerende

• Evaluation

– Het nakijken in welke mate aspecten van de instructiesituatie functioneren, bijvoorbeeld het handboek, de docent, de gebruikte leeromgeving.

• Nederlands: toetsing versus kwaliteitszorg

Assessment versus evaluation

• Onderscheid in het Engels: Amerikaanse context

• Assessment

– Focus op de activiteit van het “meten”

• Evaluation

– Focus op de activiteit van het “waarderen” wat “gemeten” is.

• Nederlands: meten versus beoordelen

Dimensies in evaluatie

• Op welke aggregatieniveau wordt de evaluatie uitgevoerd?

• Wat is de functie van de evaluatie?

• Wie voert de evaluatie uit?

• Op welk type leerdoelen richt de evaluatie zich?

• Wanneer wordt de evaluatie opgezet?

• Welke technieken worden gebruikt bij evaluatie? Welke tools kan je gebruiken?

• Evaluatie kan betrekking hebben op alle variabelen, processen en actoren die zich situeren op het microniveau van het referentiekader. – Lerende

– Instructieverantwoordelijke

– Instructieactiviteiten

– Leeractiviteiten

– Organisatie

Microniveau

• Vaak focus op microniveau

• Vaak focus op de mate waarin de leerdoelen zijn bereikt

• Ook hier zo in deze module

• Maar ook aandacht nodig voor andere aspecten, zeker in functie van algemene kwaliteitszorg.

Terminologie

• Criteriumgerichte evaluatie

– Criterion-referenced assessment

• Normgerichte evaluatie

– Norm-referenced assessment

• Ipsative assessment

– Self-referential assessment

Criterium

• Criteriumgerichte evaluatie

• [criterion-referenced assessment]

• Criterium op voorhand vastgelegd

• Eénzelfde standaard voor iedereen

• Voorbeeld: bij 100 meter lopen: iedereen die binnen de 15 seconden finisht = geslaagd

• Doel is selectie of het nemen van een finale beslissing

Norm

• Normgerichte evaluatie

• [Norm-referenced assessment]

• Voorbeeld: gemiddelde van iedereen, en wie sneller loopt dan M+1sec = geslaagd

• (toevallige) samenstelling groep speelt mee, minder duidelijk wat nu precies gekend is, wat de ondergrens is

• Vergelijking

Ipsative

• Ipsative assessment

• Self-referential assessment

• [ipsatieve/zelf-referentiële – naar zichzelf verwijzende assessment]

• Vooral in contexten waar de leerbaarheid in het oog wordt gehouden.

• Beroepsonderwijs of buitengewoon onderwijs

• Lopen: vooruitgang (rekening houdend met eigen mogelijkheden) = geslaagd (Doel = progressie)

Mesoniveau

• I.f.v. kwaliteitzorg

• Belangrijk punt van aandacht

• Responsabilisering van onderwijsinstellingen

• Bvb vorige les: kader met eindtermen en ontwikkelingsdoelen, scholen moeten kunnen aantonen dat ze kwaliteitsvol zijn en dus de eindtermen bereiken

CIPO-model

• Calder (1994):

– Context, Input, Process, Product

• Vlaanderen: CIPO

– Context, Input, Proces, Output

Doorlichting van scholen

• Procedure

– Zelfevaluatieverslag

– Vooronderzoek

– Doorlichtingsbezoek

• Verslag: openbaar

• Adviezen:

– Gunstig; gunstig beperkt in tijd; ongunstig

Macroniveau

• Kwaliteit van het onderwijssysteem

• Performance indicatoren

• Indicatoren als parameter voor kwaliteit

• Vergelijken met voorgaande metingen of met andere landen

• Voorbeelden: TIMSS, PISA, PIAAC, …

PISA (Boven: wiskundige geletterdheid) (Onder: wetenschappelijke geletterdheid)

PISA (HB p. 449) Toppresteerders wiskunde, 2003 – 2012)

VL --- B

Centrale examens

• CITO toetsen, bacalauréat, national curriculum

• Centrale examencommissie

• Peilingsproeven

• Voordeel

• Nadeel

• Krantenartikel HB p. 451

• De standaard, 23 april 2014

De functie van evaluatie

• Formatieve evaluatie versus summatieve evaluatie

• Verschillende doelen, aanpakken, en gebruik van evaluatie

• “Assess while you teach, teach while you assess”

• Assessment of learning, for learning, as learning

De functie van evaluatie

• Certificerende/kwalificerende functie

• Selectie functie

• Prognostische/predictie functie

• Didactische functie, inhoud verschaffen over het onderwijsleerproces

• Koppel bovenstaande functies aan formatieve dan wel summatieve evaluatie.

Evaluatie op meso / macro niveau

• Formatief: intern gericht

• Summatief: extern gericht

Wie voert de evaluatie uit?

Wie voert de evaluatie uit?

Self Assessment

• Waarom wel?

• Waarom niet?

Self Assessment

• Waarom wel?

– Verantwoordelijkheid en betrokkenheid lerende (~constructivisme)

– Doelen bepalen, criteria vastleggen, checklist uitwerken, evaluatie uitvoeren, conclusies trekken

– Zelfreflectie, monitoren eigen leerproces, zelfregulatie

– Academische standaarden

Vandevelde, S. & Van Keer, H. (2015). Coaching en begeleiding - Workshop - 22 september 2015

VOOR

TAAKANALYSE PLANNEN MOTIVATIE SELF-EFFICACY

TIJDENS

LEER-STRATEGIEËN

MOTIVATIE-STRATEGIEËN

MONITORING DOORZETTINGS-

VERMOGEN

NA

ZELFEVALUATIE ATTRIBUTIE

STUDIE-OMGEVING

Self Assessment

• Waarom niet?

– Niet zo eenvoudig

• Begeleiding, oefening

– Niet altijd handig als het om scoren gaat

• Laag versus hoogpresteerders

Peer Assessment

• Waarom wel?

– Constructivisme en samenwerkend leren

– Betrouwbaarheid, validiteit en bruikbaarheid is over het algemeen vrij goed.

– Academische standaarden toepassen op anderen, maar ook zelf daaruit leren

Peer Assessment

• Waarom niet?

– Niet zo eenvoudig

• Begeleiding, oefening

• Geleidelijke opbouw en trainingsaanpak

– Niet handig als het om scoren gaat

• Peer grading versus peer assessment

• Friendship marking, veiligheid, anonimiteit

• Neiging om rond het gemiddelde te scoren

Voorbeeld van een gestructureerd proces voor peer assessment

• Elke lerende stelt afzonderlijk criteria op

• Vergelijk in duo en stel bij

• Verzameling criteria opmaken

• Gebruiken om eigen werk te beoordelen

• Gebruiken om anders werk te beoordelen

• Werkstukken herwerken

• Instructor beoordeelt op basis van criteria

• Bespreken in paren en opnieuw bijstellen

Peer feedback

• Peer feedback versus peer assessment

• The power of feedback

The Power of Feedback

The Power of Feedback

John Hattie and Helen Timperley

REVIEW OF EDUCATIONAL RESEARCH 2007 77: 81

DOI: 10.3102/003465430298487

The online version of this article can be found at:

http://rer.sagepub.com/content/77/1/81

http://education.qld.gov.au/staff/development/performance/resources/readings/power-feedback.pdf

Quote

Effective feedback must answer three major questions asked by a teacher and/or by a student: Where am I going? (What are the goals?), How am I going? (What progress is being made toward the goal?), and Where to next? (What activities need to be undertaken to make better progress?) These questions correspond to notions of feed up, feed back, and feed forward.

Feedback

• Feed up

– Where am I going? (What are the goals?)

• Feed Back

– How am I going? (What progress is being made toward the goal?)

• Feed forward

– Where to next? (What activities need to be undertaken to make better progress?)

Peer feedback

• Drie belangrijke elementen in peer feedback

– Feed up: criteria, standaarden, doelen, gewenste situatie

– Feed back: informatie over huidige situatie

– Feed forward: suggesties om vanuit de huidige situatie tot de gewenste situatie te komen

Voorbeeld

• Onderzoek Mario Gielen (Vakgroep onderwijskunde, Universiteit Gent): Peer feedback in online omgeving

(zie volgende dia’s)

(3) VOORBEELDEN

ONDERWIJSKUNDE

(3) VOORBEELDEN

FASE 1 - DRAFT VERSIE VAN ABSTRACT

(3) VOORBEELDEN

FASE 2 - PEER FEEDBACK GEVEN

- Assessment criteria (Sluijsmans, 2002)

- Power of feedback (Hattie & Timperley, 2007)

– Feedback on past performance

– Feed forward in function of future improvement

(3) VOORBEELDEN

FASE 2 - PEER FEEDBACK GEVEN

(3) VOORBEELDEN

FASE 3 – FINALE VERSIE ABSTRACT

(3) VOORBEELDEN

FASE 4 - PEER FEEDBACK EVALUEREN

EARLI 2013 Symposium: Formative feedback in online interaction to enhance learning

Earli SIG1 – Professional Development in Assessment

EARLI 2013 Symposium: Formative feedback in online interaction to enhance learning

Voorbeeld

• http://www.tecolab.ugent.be/pres/20150908_Mobiel_leren.html#/8

• Onderzoek Tijs Rotsaert (Vakgroep onderwijskunde, Universiteit Gent): Classroom response technology

• Peer assessment en feedback in de klas

Rubrics

• http://users.ugent.be/~bfdwever/fb13/

Wanneer wordt de evaluatie opgezet?

• Voor het leerproces

– Advance organizers

– Cognitivisme

– Activeren voorkennis

Wanneer wordt de evaluatie opgezet?

• Tijdens het leerproces

– Voortgangsevaluatie, vaak formatief

– Portfolio evaluatie

• Bestewerkportfolio / showcaseportfolio

• Procesportfolio

• Leerdoelenportfolio

• Documentportfolio of productportfolio – Reflectieverslagen

Wanneer wordt de evaluatie opgezet?

• Na het leerproces

– Toetsen en examens

– Cf. verschillende functies

Welke technieken worden gebruikt?

• Vraagtypes

• Rubrics

• Performance evaluatie

Het scoren van evaluatieresultaten

• Absolute grading

• Relative grading

• Gewogen grading

• Item analyse

• IRT

Kwaliteitseisen bij evaluatie

• Betrouwbaarheid

• Validiteit

• Authenticiteit

• Recentheid

Evaluatie: kritische visies

• Handboek

– Momentopname

– Gestandaardiseerde en efficiënte toetsen kunnen andere toetsvormen verdringen

– Gevaar dat veel vaardigheden niet getoetst en dus ook niet aangeleerd worden

– Teaching to the test

Nog kritische visies

Assessing and evaluating

• Jarvis, P. (2010). Assessing and evaluating. In P. Jarvis (Ed.). Adult education & Lifelong learning. Theory and Practice (4th ed., pp.210-226). London: Routledge.

98

• Assessment is a complex process

• Assessment houdt een zeker niveau van subjectiviteit in

• Assessment is not measurement

• Methodes om subjectiviteit te verminderen

99

A rationale for assessment

• Waarom?

– Diagnostic tool (formatief)

– Aangeven van een standaard

• Gelijke tests – vergelijken? – input!

– Wat werd verworven?

• Attainment ~= ability

• Guide / indication

100

Types of assessment

• Formative

• Summative

• Analytical

• Global

• Self / Peer / Co (collaborative)

101

Curriculum / course evaluation

• Kwaliteit?

– ~= effectiviteit

– ~= efficiëntie

– ~= tevredenheid

102

Evaluatie curriculum

• Hoe evalueer je een curriculum?

An andragogical process model for learning

• In M. S. Knowles, E. F. Holton III, & R. A. Swanson (Eds.), The adult learner. The definitive classic in adult education and human resource development (6th ed., pp. 115-138). Oxford: Elsevier Inc.

Kirkpatrick (1971)

• Reaction evaluation

• Learning evaluation

• Behavior evaluation

• Results evaluation

The primary purpose of [evaluation] is to improve teaching and learning

(Knowles, 2005, p. 132)

Praktische tips

• http://krachtigeleeromgevingen.weebly.com/uploads/1/1/9/4/11944505/breed_evalueren.pdf

• http://krachtigeleeromgevingen.weebly.com/uploads/1/1/9/4/11944505/evalueren_vsko.pdf

Jullie antwoorden op

• Positieve evaluatie ervaringen – Wat waren ze?

– Waarom denk je dat deze je bijgebleven zijn?

• Een paper evalueren, hoe ga je dat aanpakken? – Hoe ging je dat doen?

– Heb je eventueel je idee daarover wat aangepast na deze les?

De vragen…

1. Wat is evaluatie?

2. Waarom evalueren we?

3. Wat is het doel van evaluatie?

4. Wat is de functie van evaluatie?

5. Wanneer evalueren we?

6. Wie evalueert wie?

Praktische mededelingen

• Handboek bestellen kan via mail (zie aankondigingen op Minerva voor details)

• Graag jullie laptop meebrengen naar de oefeningensessies op 15 oktober (opgeladen)

• Examen voor dit opleidingsonderdeel: multiple choice open boek (toepassing)

MODULE 6: Evaluatie

Krachtige Leeromgevingen

Donderdag 8 oktober 2015

Prof. dr. Bram De Wever