WON Leergang Onderzoeksdidactiek

Groep ZuidBijeenkomst 5 10 maart 2020

Jan VijfhuizenMonica Wijers

De actualiteit

Aan de hand van verkoopcijfers over de periode 2011-2016 – welk boek was een commercieel succes en welk niet – trainden zij hun algoritme. Ze voerden de teksten in het model, en dat telde van elk woord hoe vaak het voorkwam. Het resultaat was belangwekkend: het algoritme kon voor 78 procent van de titels juist voorspellen of ze bestsellerpotentie hadden.

Het Huygens Instituut in Amsterdam doet sinds enkele jaren onderzoek naar ‘het raadsel van de literatuur’. Met kunstmatige intelligentie proberen hoogleraar ComputationeleLiteratuurwetenschap Karina van Dalen-Oskam en Joris van Zundert, onderzoeker humanities computing, het begin van een antwoord te vinden op de eeuwige vraag: wat is literatuur?

Agenda vijfde keer

1. Activiteit2. Rondje eerste ervaringen met uitvoering 3. Over beoordelen (nav. H.6)4. Feedback op huiswerk5. Vooruitblik laatste keer en afsluiting

Henk, Janneke, Peter, Miel

Activiteit H6

Het leerrendement beoordelen

Verschillende beoordelingsmodellen

Beoordeel het beoordelingsmodel

• 5 verschillende modellen• Van holistisch tot specifiek

• Geef per model aan:- wat sterke punten zijn van deze manier van beoordelen- Wanneer/ voor wat voor soort onderzoek je een dergelijk model kan gebruiken.

Single point rubric

Excel: punten per onderdeel

5-puntsschaal

Open vragen

Ja/nee-vragen

Een oefening (10 minuten)

• Vorm twee- of drietallen• Ieder groepje krijgt een rubrics-beoordelingsmodel (er zijn twee verschillende)• Schrijf per rubricsmodel:

– Twee punten die je aan dat model erg goed vindt– Twee punten die je aan dat model niet geslaagd vindt

• Na vijf minuten: wissel met een andere groep van beoordelingsmodel• Doe de oefening nogmaals met een ander rubricsmodel

Nabespreking (10 minuten)

• Welke voordelen zitten er aan het gebruik van Rubrics? – Identificeren van verschillende beheersingsniveaus– Dwingt de samensteller het niveau specifiek te omschrijven– Biedt houvast aan docent en leerling

• Welke (veelvoorkomende) valkuilen zitten er aan het gebruik van Rubrics?– Te veel tekst (eenvoudig op te lossen door er een opsomming van te maken:

leerling kan al voorgaande EN….)– Negatieve bewoording (leerling kan niet…) Streef naar positieve

bewoordingen.– Vage terminologie (leerling kan voldoende formuleren/ leerling kan heel

goed formuleren/leerling kan uitstekend… Want: wat is heel goed?) Maak concreet.

– Gebruik van kleur (rood naar groen) of smiley. Trucje, niet per se slecht, maar leerlingen prikken er doorheen.

Van belang bij het samensellen van rubrics(zie ook blz. 146 Eureka)

• Goede rubrics kosten altijd veel tijd en moeite• Ervaring helpt: oefenen!• Zouden altijd in nauw overleg binnen de school/sectie/jaarlaagbreed opgesteld

moeten worden, omdat:– Veel verschillende opvattingen over wat “goed” is op één lijn moeten worden

gebracht (je moet overeenstemming bereiken over niveau en gedrag van de leerling)

– Rubrics het effectiefst zijn als leerlingen de tijd krijgen de vaardigheden in de vingers te krijgen, daarom zouden ze op meerdere momenten/over jaarlagen heen met dezelfde rubrics bezig moeten zijn.

– Rubrics zijn altijd specifiek voor een school/organisatie/sectie, en niet generiek toe te passen (omdat er altijd discussie mogelijk is, objectiviteit bestaat niet)

Rondje eerste ervaringenUitvoering leerlingonderzoek

Uitwisselen

In twee- of drietallen:

- Wat ging goed?

- Waar liep je tegenaan?

- Noteer 1 punt om met de hele groep te bespreken

Beoordelen

Beoordelen in Beeld?

Feedback en Beoordelen

Gewenst niveau

Huidig niveau

Start niveau

Progressie feedback

Discrepantie feedback

Voerman, 2012

Beoordelingscriteria

Problemen met Beoordelen

Problemen met beoordelen

• Niet alles is te beoordelen op basis van een eindverslag: een leerling kan heel veel geleerd hebben terwijl dan toch een eindproduct niet echt heel erg goed is.

• Verslag voldoet aan alle formele eisen, terwijl de inhoud geen hout snijdt.

• De kwaliteit van de vakinhoud van een onderzoeksverslag primair, het leerrendement ten aanzien van de manier waarop die inhoud tot stand kwam (de onderzoekskunde) secundair

Wat beoordelen? Drie bronnen

• Het onderzoeksverslag (incl. onderzoeksplan en werkplan)

• Waarnemingen van de docent

• Waarneming van de leerling (en evt. medeleerlingen)

Kwaliteitskenmerken onderzoeksverslag

• Interne geldigheid –Past onderzoeksopzet bij onderzoeksvraag –Relatie deelvragen en onderzoeksvraag

• Externe geldigheid –Geen eenzijdig beeld door eenzijdige keuze van objecten van onderzoek

• Betrouwbaarheid–Nauwkeurige metingen, herhaalbaar onderzoek

• Transparantie–controleerbaar

• Aanvaardbaarheid –Geen schade/lijden toebrengen

• Toegankelijkheid–Helder weergegeven verslaglegging/presentatie

Wat beoordelen: Waar meet je het leerrendement aan af?

• De leerwinst: ontwikkeling van de individuele leerling (t.o.v. vorige meting)

• De score van de leerling in relatie tot het einddoel (afgeleid uit de exameneisen)

• Beheersing vakinhoud en/of de ‘kunde’ van het onderzoek doen?

Het beoordelingsmodel

Goede beoordelingscriteria zijn:

• Begrijpelijk geformuleerd

• Eenduidig geformuleerd

• Voldoende uitgewerkt (in de vorm van een helder criterium: wat is waarom goed?)

• Onderscheidend ten opzichte van elkaar

Duidelijke beoordelingscriteria

Voorbeeld: criteria met betrekking tot de conclusie van een onderzoek

• Het onderzoeksverslag moet een conclusie bevatten

• De conclusie moet antwoord geven op de onderzoeksvraag

• De conclusie moet op bondige wijze zo volledig mogelijk antwoord geven op de onderzoeksvraag, waarbij wordt voortgebouwd op de resultaten van het onderzoek.

Toetssteen voor eigen beoordelingsmodel

Het beoordelingsmodel bij je opdracht is:1. …. Informatief voor de leerlingen2. …. Werkbaar voor de docent3. …. Flexibel:houdt rekening met verschillen in complexiteit/aard van het onderzoek4. …. gerelateerd aan de ‘Spelregels goed onderzoek’5. …. qua moeilijkheidsgraad / complexiteit Leeftijdsadequaat

En:Bevat een overall criterium: de onderdelen van het bouwwerk sluiten naadloos op elkaar aan

In groepjes (verwante vakken)

Vergelijk de beoordelingsmodellen: – wat beoordeel je c.q. gebruik je als categorieën? – wat zijn de ‘scores’ en de bijbehorende criteria?

Hoe ga je om met het beoordelen van: - Onderzoekende houding - Denkvaardigheden - Reflectief vermogen- Samenwerkingsvaardigheden

- Uitvoerende vaardigheden - ...

Tips

- Test je beoordelingsmodel door samen met een collega het onafhankelijk van elkaar in te vullen en je scores te vergelijken.

- Leg je beoordelingscriteria naast het generieke beoordelingsmodel uit Eureka!

- Wat kun je daaruit gebruiken om je criteria nog scherper, informatiever en duidelijker te maken?

- Heb je andere belangrijke aspecten over het hoofd gezien?

Feedback op huiswerk

Huiswerk: wat ons opviel

▪ Er komt minder huiswerk binnen!▪ Het werk wordt steeds vollediger▪ Meer zicht op lesmaterialen en wijze van sturing▪ Soms tijdens uitvoering een koerswijziging

bij beoordelingsmodellen:• uitgebreid en doordacht▪ de onderzoeksdoelen komen niet altijd terug▪ soms ontbreekt een toelichting

Vooruitblik en huiswerk bijeenkomst 6

Programma laatste (6e) bijeenkomst (16 April 2020)

• Korte presentaties - PitchVoorbereiden ‘pitch’ van max. 5 minuten over de uitgevoerde onderzoekstaak door leerlingen (inclusief evaluatie proces en leeropbrengst) of over de stand van zaken.

• Naar een leerlijn + implementatie -> vanuit een onderwerp en vraagstructuur

• Evaluatie – link wordt toegestuurd - Zover mogelijk al invullen- rest tijdens de bijeenkomst

Presentatie/Pitch

• Max. 5 minuten per presentatie

• Neem er evt. wat leerlingen werk in op.

• Wat heb jij geleerd als docent?• Wat heeft je leerling geleerd?

Eindproduct (huiswerk)

• Maak een geheel van alle huiswerkopdrachten over het ll-onderzoek in één document. Met het (les)materiaal voor de lln in een bijlage.

• Zorg ervoor dat dit een logisch verloop heeft en dat er geen dubbele stukken tekst in staan. NB. Voor inhoud/kopjes zie volgende dia

• Onder aan dit document beschrijf je kort (max.1 A4) je ervaringen met de onderzoeksopdracht met leerlingen: – Beschrijf zowel successen als knelpunten (denk aan: planning, evaluatie van leeropbrengst, uitvoering, begeleiding, etc.). – Welke lessen neem je mee voor de volgende keer?

Inhoud van het Eindproduct

- Onderzoeksvraagstructuur met toelichting (thema, hoofdvraag, deelvragen, fsm)- Je lesplanning (niet te verwarren met het werkplan van de leerlingen) dus: doelen,

fasering, wie doet wat etc.- Hoe je zorgt dat het een goed leeronderzoek voor de leerlingen wordt*- Hoe complex je de onderzoekstaak wilt maken (zie schema taakcomplexiteit in H3).- Wat je deels ‘weggeeft’ en wat je aan de leerlingen zelf overlaat (H5).▪ Een (voorbeeld)werkplan van/voor de leerlingen*▪ Beoordelingscriteria met toelichting▪ Bijlage met: (Les)materiaal voor de leerlingen en (als je het hebt) leerlingenwerk zoals

uitwerkingen/verslag.

Ter afsluiting

Huiswerk 6e bijeenkomst

Eindproduct – zie dia 39 en 40 voor een omschrijving• Inleveren: uiterlijk 29 maart• Tip: Gebruik inhoudsopgave Eureka als checklist

Presentatie/pitch voorbereiden (zie dia 37 en 38)

Neem een onderzoeksvraagstructuur (van een leerling) mee.

Succes en plezier met de (verdere) uitvoering!