Thema 10 Evaluatie. In dit thema gaan we grondiger in op het onderwerp “evaluatie”. Dit is een...
-
Upload
lieven-wauters -
Category
Documents
-
view
216 -
download
2
Transcript of Thema 10 Evaluatie. In dit thema gaan we grondiger in op het onderwerp “evaluatie”. Dit is een...
Thema 10Evaluatie
In dit thema gaan we grondiger in op het onderwerp “evaluatie”. Dit is een zeer omvattend en ook een zeer complex thema. Daarom behandelen we in dit ervarings-onderzoek maar een eerste onderdeel.
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Met betrekking tot het thema evaluatie bespreken we drie hoofdthema’s en verder subthema’s.
Meten
Waarderen
Scoren
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
We beginnen met een focus op het eerste thema en daarbij op de omschrijving van het begrip evaluatie.
Meten
Waarderen
Scoren
Evaluatie: begripsomschrijving
Een begripsomschrijving voor “evaluatie” is een lastige zaak omdat het de nadruk legt op één aspect van “toetsing”, namelijk het waarderen, het toekennen van een waardering.
Zoals je zult zien, helpt het ook niet om het begrip te vervangen door een andere veel gebruikte term, zoals bv. assessment. Opnieuw wordt dan slechts één aspect van het toetsproces benadrukt.
Evaluatie: begripsomschrijving
Lees even deze omschrijving van evaluatie: “Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact” (Thorpe, 1988).
Je merkt meteen dat evaluatie een omvattend proces is dat betrekking kan hebben op alle elementen van het onderwijskundig referentiekader.
Evaluatie: begripsomschrijving
In de literatuur wordt een eerste belangrijk onderscheid gemaakt tussen evalueren enerzijds en assessment anderzijds.• Assessment of “meten” verwijst naar het proces
van verzamelen en analyseren van gegevens (Burke, 1999 en Feden & Vogel, 2004)
• Evalueren gaat, zoals we net zagen, verder en gebruikt die verzamelde informatie om een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact.
In de literatuur maakt men nog een verder onderscheid tussen:• Meten/testen: informatie verzamelen• Evalueren/waarderen: wat is de informatie waard?• Scoren/grading: afhankelijk van de « waarde » een
score toekennen
Het is essentieel tussen deze drie activiteiten een onderscheid te maken. Je kan dus meten zonder dat je ook evalueert of scoort. Maar je kan niet scoren zonder eerst te meten en te evalueren.
Evaluatie: begripsomschrijving
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Kwaliteitseisen bij evaluatie
Vooraleer recente ontwikkelingen rond evaluatie te bespreken, behandelen we een belangrijk thema rond de kwaliteitseisen bij evaluatie. Daarbij staan vier begrippen centraal:• Validiteit• Betrouwbaarheid• Authenticiteit• Recentheid
Evaluatie
Kwaliteitscriteria
Validity
Reliability
Recency
Authenticity
Validiteit
Validiteit verwijst naar de mate waarin de inhoud van wat gemeten, gewaardeerd en gescoord wordt wel overeenkomt met het evaluatiedoel.
Typische vragen en problemen met validiteit:• Enkel meetkunde testen om een uitspraak te doen over
wiskundekennis van lagere school kinderen• Enkel vragen stellen over één hoofdstuk uit de
cursus op een examen• Enkel kennisvragen over scheikunde stellen
wanneer ook de laboproeven werden uitgevoerd.
Evaluatie
Kwaliteitscriteria
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Betrouwbaarheid
Betrouwbaarheid verwijst naar de mate waarin de meting stabiel is. Typische vragen hierbij zijn:• Herhaal ik morgen de test, krijg ik dan een vergelijkbaar
resultaat?• Is er geen te groot verschil in het al dan niet kunnen
oplossen van de verschillende vragen in de toets (interne samenhang)?
• Indien iemand anders meet, zal hij/zij eenzelfde resultaat vaststellen?
Evaluatie
Kwaliteitscriteria
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Authenticiteit
Authenticiteit verwijst naar de mate waarin de verzamelde info een relevante, adequate, authentieke afbeelding is van wat in de werkelijkheid voorkomt.
Voorbeelden van vragen hierbij:• Is het voldoende om het geven van injecties door
verpleegkundigen te evalueren met poppen?• Is het adequaat om een vliegbrevet af te leveren
op basis van prestaties tijdens vliegsimulaties?• Is het voldoende om het “kunnen les geven” te
testen aan de hand van les aan een kleine groep leerlingen?
Evaluatie
Kwaliteitscriteria
Validity
Reliability
Recency
Authenticity
Recentheid
Recentheid stelt de vraag naar de “datum” van de meting waarop de scores bij de evaluatie gebaseerd is:• Zijn credits die 5 jaar geleden verworven zijn, nog
bruikbaar om vandaag vrijstellingen aan te vragen? • Kunnen we een jonge huismoeder die opnieuw aan de slag
wil, aanwerven op basis van een diploma dat 10 jaar geleden is behaald?
• Zijn de Basic Life Support Skills die zes maanden geleden bereikt werden, vandaag nog relevant bij een actieve ambulancier?
Evaluatie
Kwaliteitscriteria
Validity
Betrouwbaarheid
Recentheid
Authenticiteit
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Vanaf nu behandelen we het 3de hoofdthema over de recente ontwikkelingen m.b.t. evaluatie. Er worden 5 subthema’s besproken.
Ontwikkelingen rond evaluatieRecente ontwikkelingen rond evaluatie kunnen we clusteren langs een aantal dimensies:• Op welk aggregatieniveau wordt de evaluatie
uitgevoerd?• Wat zijn de functies van evaluatie?• Wie voert de evaluatie uit?• Wanneer wordt de evaluatie opgezet?• Welke technieken worden gebruikt bij de
evaluatie?
We bespreken enkele voorbeelden per dimensie.
Dimensie 1: aggregatieniveausTen eerste zien we dat evaluatie betrekking kan hebben op de drie verschillende aggregatieniveaus in het referentiekader:• Microniveau• Mesoniveau• Macroniveau
We bekijken voor elk
aggregatieniveau een
voorbeeld van recente ontwikkelingen.
Microniveau
Mesoniveau
Macroniveau
Evaluatie
Aggregatieniveaus
Trends dimensies
Functies evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Dimensie: aggregatieniveauOp elk aggregatieniveaus keren dezelfde elementen terug. Evaluatie kan op elk aggregatieniveau betrekking hebben op elk element in het referentiekader:• Instructieverantwoordelijke• Lerende• Leeractiviteiten• Organisatie• Context• Instructieactiviteiten
(doelen, leerstof, media, werkvormen, evaluatie)
MicroniveauVoorbeeld 1: evaluatie van de mate waarin de doelen
bereikt zijn;
Voorbeeld 2: evaluatie van didactische werkvormen.
Microniveau
Evaluatie
Aggregatieniveaus
Trends dimensies
Functies evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Leerdoelen
Didactische werkvormen
Microniveau: evaluatie doelen
Bij de evaluatie meten we he gedrag van lerenden, waarderen we dit gedrag en kennen we er een score aan toe. De vraag is waarop we onze waardering baseren?• Op een vooropgesteld criterium?
– Criterion referenced assessment
• Op een norm, bijv. het groepsgemiddelde?– Norm referenced assessment
• Op de eerdere prestaties van de lerende zelf?– Ipsative assessment of
self-referenced assessmentLeerdoelen
Didactische werkvormen
Micro level
Microniveau: evaluatie doelenVoorbeeld: hoe snel lopen 15 jarige 100 meter?• Criterion referenced assessment
– Elke loopprestatie wordt vergeleken met een criterium; bv. minder dan 15 seconden
• Norm referenced assessment– Elke loopprestatie wordt vergeleken met het gemiddelde van
bv. de klasgroep (je zal maar in een snelle groep zitten).
• Ipsative assessment of self-referenced assessment– Elke loopprestatie wordt vergeleken
met een eerdere prestatie van elkeindividuele lerende zelf; nadruk opindividuele leerlijn.
Leerdoelen
Didactische werkvormen
Micro level
Microniveau: waarde instructieactiviteiten
Hattie (2009) bespreekt in zijn meta-analyses instructieactiviteiten. Zijn meta-analyses kijken na of een aanpak een verschil maakt; met andere woorden een differentieel effect heeft. Heeft een aanpak zin?Zo zie je in het voorbeeld dat de gemiddelde “effect size” van huiswerk als instructiestrategie maar d = .29 is. Ver beneden de vooropgestelde d = .40 grens.
Leerdoelen
Didactische werkvormen
Micro level
Mesoniveau: evaluatie op schoolniveau• Recente ontwikkelingen op schoolniveau kijken
na of een “school” als geheel een value-added heeft, een toegevoegde waarde op leerprestaties.
• Maar kan je zomaar instellingen met elkaar vergelijken? Leidt dit niet simpelweg tot “ranking” zoals je kan zien in dit krantenartikel?
Mesoniveau Aggregatieniveau
Mesoniveau: evaluatie op schoolniveau
Microniveau
Mesoniveau
Macroniveau
Evaluatie
Aggregatieniveaus
Trends dimensies
Functies evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
• Je kan instellingen niet zomaar vergelijken.• Calder (1994) schuift voor dit doel het CIPO model
naar voren waarbij alles in balans wordt gebracht:– Contextevaluatie: de ligging van de school, de beschikbare
middelen, de regelgeving, …– Inputevaluatie: wat de school inzet als aanpakken en
middelen, programma, beleid, aantal en aard personeel, enz.– Procesevaluatie: de manier waarop het programma is
geïmplementeerd, strategieën, evaluatie-aanpak, mediagebruik, professionalisering leerkrachten, enz .
– Output evaluatie: de effecten zoals he bereiken van de eindtermen, doorstroom naar andere school, rendement, enz.
Mesoniveau: evaluatie op schoolniveau
Mesoniveau Aggregatieniveau
• Scholen vergelijken met het CIPO model kan dus betekenen:– Dat een school met veel migranten relatief beter presteert
dan een school met kinderen uit de hogere sociale klasse.– Dat een school goed kan presteren voor bepaalde eindteren
en minder goed voor andere.– Dat een school opmerkingen kan krijgen over haar beleid.– Dat men rekening houdt met de slechts ligging van een
school (bv. een onveilige buurt).– Dat men ook kijkt naar wat leerlingen later presteren in
een vervolgopleiding (bv. succes aan de universteit).• Scholen worden met het CIPO model geëvalueerd
tijdens een doorlichting door de inspectie.
Mesoniveau: evaluatie op schoolniveau
Mesoniveau Aggregatieniveau
• De verslagen van de doorlichting zijn openbaar
Mesoniveau: evaluatie op schoolniveau
Macroniveau: schooleffectiviteit
Lees volgende omschrijving:• “Het doel van schooleffectiviteitsonderzoek is het
beschrijven en verklaren van verschillen tussen scholen op basis van specifieke criteria. Schooleffectiviteitsonderzoek exploreert deze verschillen in de mate dat leereffecten worden bereikt in relatie tot verschillen in de instructieverantwoordelijken of verschillen in de kenmerken van lerenden, klassen of scholen.”
Je merkt dat men net zoals bij het CIPO model verklaringen zoekt voor verschillen, maar nu op het systeemniveauvan alle scholen.
Macroniveau: schooleffectiviteit
Microniveau
Mesoniveau
Macroniveau
Evaluatie
Aggregatieniveaus
Trends dimensies
Functies evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Deze ontwikkeling bij evaluatie start vanuit zeer kritische rapporten over de value-added van scholen:
– Het Coleman rapport (1966, chapter 1): “Scholen hebben maar weinig effect op leerprestaties, dat los staat van de familieachtergrond en sociale context.”
– Het Plowden rapport (1967, p.35): “Verschillen tussen de ouders verklaren sterker de variatie in leerprestaties dan de verschillen tussen scholen …. Factoren in de ouders verklaren tot 58% van de variantie in leerprestaties.”
• Scholen willen – in tegenstelling tot wat deze studies beweren - bewijzen dat ze wel een bijdrage leveren aan leerprestaties.
Macroniveau: schooleffectiviteit
AggregatieniveausMacroniveau
Een centrale kritiek op het Coleman en Plowden rapport is dat ze het complexe samenspel negeren dat bestaande verschillen helpt verklaren; zie het CIPO model.
In plaats van zomaar testen af te nemen en resultaten te vergelijken, kijken we naast de “product effecten” ook naar processen en variabelen die hiermee samenhangen. Dit worden de performance indicatoren genoemd.
Macroniveau: schooleffectiviteit
AggregatieniveausMacroniveau
Macroniveau: performance indicatoren• Performance indicatoren zijn: "statistische gegevens,
verhoudingsgetallen, kosten en alle andere informatie die de opbrengst meet en verheldert van een instelling in relatie tot de vooropgestelde doelen.“
• Je merkt dat de nadruk bij performance indicatoren ligt op het beschrijven en verklaren van verschillen.
• Een van de gekendste performance indicatoren studies is de driejaarlijkse PISA: Programme for International Student Assessment.Daarbij worden de prestaties van landen vergeleken. In PISA 2006 waren dat 54 landen.
AggregatieniveausMacroniveau
Macroniveau: performance indicatoren• Resultaten van PISA in 2006 tonen bv. de hoge
prestaties van Vlaanderen voor wetenschappen, wiskunde, en lezen.
AggregatieniveausMacroniveau
PISA resultaten worden niet alleen beschreven. Ze worden ook verklaard. In deze grafiek zie je bijv. hoe resultaten op de PISA testen samenhangen met de socio-economische status (SES) van de leerlingen.Hoe hoger die status hoe beter de leerprestaties. SES is bepaald door o.a. het opleidingsniveau van de ouders, hun inkomen, hun bezit van cultuurgoederen (boeken).
AggregatieniveausMacroniveau
Dimensie 2: functies van evaluatieEvaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Dimensie 2: functies van evaluatieWaarom wordt er geëvalueerd? Er zijn verschillende mogelijke redenen:• Formatieve evaluatie
– Om te zien waar men staat en om eventueel bij te sturen
• Summatieve evaluatie– Om vast te stellen wat men uiteindelijk beheerst.
• Predictiefunctie– Om latere prestaties te voorspellen (bv. succes hoger
onderwijs)
• Selectiefunctie– Om te zien of men geschikt is voor een job, taak
Functies
Formatief
Summatief
Selectie
Predictie
Dimensie 2: functies van evaluatieIn het buitenland veel aandacht voor selectiefunctie; zie de aandacht voor ingangsexamens.In dit voorbeeld zie je een gelukkige kandidaat (en moeder) die geslaagd is voor de ingangstest aan een Chinese universiteit.
Functies
Formatief
Summatief
Selectie
Predictie
Dimensie 2: functies van evaluatieVroeger was er een grote nadruk op de summatieve evaluatie. Nu is er een grote nadruk op de formatieve evaluatie. Waarom?• Leert men wel uit de evaluatieve feedback; ook
consequential validity genoemd?• Moet de instructieverantwoordelijke de begeleiding, de
aanpak, het materiaal, … niet bijsturen?• Heeft men al een voorlopig niveau bereikt?
Functies
Formatief
Summatief
Selectie
Predictie
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Dimensie 3: Wie voert de evaluatie uit?
Dimensie 3: Wie voert de evaluatie uit?
Klassiek voert de instructieverantwoordelijke de evaluatie uit. Nieuwe ontwikkelingen:• De lerende voert zelf de evaluatie uit: zelftoetsing• Lerenden voeren samen met peers de evaluatie uit:
peer toetsing• Een externe verantwoordelijke voert de evaluatie uit
(bv. een andere leerkracht).• Een extern bedrijf voert de evaluatie uit: assessment
centers• …
Zelfevaluatie
Peer evaluatie
Assessment center
Wie
• Nieuwe ontwikkeling: zelftoetsing• Zelftoetsing wordt gezien als voorbeeld van toetsen om te
leren (Assessment-as-learning): vooral formatieve functie• Twee hoofdstappen:
– Eerst training krijgen in het ontwikkelen en expliciet maken van toetscriteria: ontwikkelen meetinstrument en discussie over de waarde van wat men vaststelt.
– Dan pas de meetinstrumenten gebruiken en komen tot een eigen oordeel. Scoren komt hierbij nauwelijks om de hoek kijken.
• Bruikbare techniek: rubrics (zie verder)
Dimensie 3: Wie voert de evaluatie uit?
Zelfevaluatie
Peer evaluatie
Assessment center
Wie
• Assessment centres: extern bedrijf dat de evaluatie uitvoert; meestal in functie van selectiefunctie
• “Gestandaardiseerde evaluatieprocedure van complex gedrag -veelheid van inputgegevens. Het gedrag beoordeeld, in gesimuleerde situaties. Verschillende beoordelaars beoordelingen samen tot globale uitspraak.”
• Verschillende beoordelaars zorgen ervoor dat men vanuit alle kanten bekeken wordt: 360° evaluatie
• Vooral gebruikt voor selectiefunctie bv. Bij het zoeken van kandidaten voor een job
Dimensie 3: Wie voert de evaluatie uit?
Zelfevaluatie
Peer evaluatie
Assessment center
Wie
Dimensie 4: Wanneer evalueren?Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Dimensie 4: Wanneer evalueren?
Er is een verschuiving in het moment waarop men evalueert: naar « voor » en « tijdens » het leerproces; gegeven de groeiende formatieve functie van toetsing• Voor
– voorkennistoetsing
• Tijdens– Voortgangstoetsing– Portfoliotoetsing
• Na– Eindtoetsing
Dimensie 5: Welke evaluatietechniek?
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
Meten
Waarderen
Scoren
Dimensie 5: Welke evaluatietechniek?
Naast klassieke toetsen met meerkeuzevragen, open vragen, invulvragen, … worden nieuwe technieken gebruikt. Bijvoorbeeld:• Rubrics: aandacht voor criteria en indicatoren• Portfolio’s: dossier met brieven, informatie,
illustraties, producten, … als informatiebasis voor de evaluatie
• …
Evaluatie- technieken
Rubrics
Portfolio’s
Dimensie 5: Rubrics
Rubrics:• Definieer heldere criteria:
concrete aandachtspunten waarop het meten, waarderen en scoren zich richt
• Bepaal per criterium een aantal indicatoren: indicatoren geven het niveau aan waarop een criterium wordt bereikt
Evaluatie- technieken
Rubrics
Portfolio’s
Dimensie 5: Rubrics
Voorbeeld-rubric: “Kleuren mengen”
In vervolgstappen leerproces kan men criteria en performance indicatorenniveaus vermeerderen.
1 2 3 4
Hoeveelheid gebruikte verf Denkt niet na over hoeveelheden
- - Gebruikt minimale hoeveelheden bij samenstellende kleuren
Beginkleur Begint met donkere kleuren te mengen
- Start men bleekste kleurmengsel
Volgorde bijmengen
…
…
Performance indicatoren
Criteria
Dimensie 5: Rubrics
Voorbeeld-rubric: “Het schrijven van een historisch fictieverhaal
Evaluatie- technieken
Rubrics
Portfolio’s
Dimensie 5: Portfolio’s
Lees de volgende omschrijving:Een portfolio is een dossier dat men samenstelt met brieven, informatie, illustraties, producten, … als informatiebasis voor de evaluatie.
Evaluatie- technieken
Rubrics
Portfolio’s
Dimensie 5: Portfolio’s• Soorten portfolio’s:
– Een documentenportfolio of productportfolio: documentatie die activiteiten in een opleiding, stage, praktijkervaring, … helpt beschrijven (meten). Naast deze informatie wordt reflectie toegevoegd (waarderen). Typisch gebruik bij opleiding verpleegkundigen, leerkrachten, … .
– Een procesportfolio: een logboek. Documentatie van voortgang leerproces aangevuld met reflecties die leiden tot actieplannen.Typisch gebruik bij artsen, verpleegkundigen, leerkrachten, … .
– Een showcase portfolio: “the best of …”. Bundeling van het beste werk van een lerenden in functie van het besluitvormingsproces over de prestaties van de lerenden. Typisch gebruik in beeldende kunsten, muzikanten, architecten, … . Evaluatie-
technieken
Rubrics
Portfolio’s
Voorbeeld procesportfolio
Dimensie 5: Portfolio’s
Evaluatie
Aggregatieniveau
Kwaliteits-criteria
Trends in evaluatie:Dimensies
Definitie
Functie evaluatie?
Wanneer evalueren?
Evaluatietechnieken
Wie evalueert?
Validiteit
Betrouwbaarheid
Recentheid
Authenticiteit
We hopen dat u een eerste omvattend beeld hebt ontwikkeld van het thema evaluatie
Einde van dit instructiepakket
Pak nu de eindtoets aan. Ga opnieuw naar je Minerva werkplek