EVIDENCE BASED VERBETEREN VAN HET ONDERWIJS

60493

EVIDENCE BASEDVERBETEREN VAN HET ONDERWIJS

Evidence basedverbeteren van het onderwijs

54

6 Meesterwerken

Inleiding

12 Meer woorden leren

Het effect van uitleg tijdens het voorlezen op de woordenschat

van jonge kinderen

Baukje Bemener

18 Wat beweegt de monumenteigenaar?

Een onderzoek naar het aanvraaggedrag van de monumenteigenaar: weegt een

hogere eigen bijdrage op tegen meer zekerheid over subsidietoekenning?

Maartje de Boer

28 I need to read

Het effect van zelfregulerend leren op leesbegrip bij risicoleerlingen

uit het primair onderwijs

Bart ten Bosch

36 Leidt het aanbieden van facultatief huiswerk tot hogere toetscijfers?

Ton van den Broek

48 Heeft een andere norm voor het bindend studieadvies in de propedeuse

van het hbo invloed op het studietempo in het tweede jaar?

Willem Brouwer

58 Het effect van tussentijds toetsen op studieprestaties

Veronica Bruijns

68 Effecten van een tijdmanagement interventie & de rol van consciëntieusheid,

motivatie en studiegedrag bij het deeltijd-hbo propedeuse resultaat

Bart de Haan

78 Differentiatie-mix voor de les Nederlands

Het effect van flexibel groeperen in combinatie met een digitaal differentiërend

tutorprogramma op taalvaardigheid van onderbouwleerlingen in het vmbo

Romy Keulen-Tummers

inhoudsopgave

88 Formatief toetsen ter ondersteuning van het kennisleren

Alja van der Lek

96 Selecteren aan de poort: de juiste student op de juiste plek?

Onderzoek naar het effect van decentrale selectie op studieprestatie

en studie-uitval

Lynette Menting

106 Het effect van online formatieve vragen op studieprestaties

Freek Morren

114 De studieplanner

Leidt effectief gebruik van een studieplanner tot betere studieresultaten

in de onderbouw van het voortgezet onderwijs?

Ruud Puts

124 Zijn zelfgezochte stageplekken beter voor de studieprestaties?

Jelle Schoemaker

130 Moet je goed zijn in taal om te kunnen scoren?

Suzanne van Stratum

138 Motivatiefactoren in Japanse taalstudies

Dennis Thijssen

146 Maakt de mentor het verschil?

De invloed van meer feedbackmomenten in studieloopbaanbegeleiding

op studie-uitval in de propedeuse

Jeannemiek Timmermans

154 Effecten van coöperatief versus traditioneel lesgeven

Robert Tobben

76

Meesterwerken

inleiding

Geachte lezer,

In zijn zesde editie biedt Meesterwerken andermaal een staalkaart

van de onderzoeksprestaties van MEBIT-studenten, gedreven

onderwijsmensen die hun praktijk hebben aangevuld met een

opleidingstraject dat hen twee jaar lang dwong systematisch na

te denken over een zelfgekozen onderwijsvraagstuk. Ze deden dat

niet (alleen) omwille van de intellectuele genoegdoening, maar

om de onderwijspraktijk te vernieuwen vanuit wetenschappelijke

inzichten.

De kwaliteit van wetenschappelijke inzichten staat tegenwoordig

wel eens ter discussie, niet alleen vanwege bewust bedrog van

enkelingen, maar omdat blijkt dat het wetenschapsbedrijf vaak

te weinig kritisch is over de werkelijke waarde van de verkregen

inzichten en er algemenere betekenissen aan hecht dan het

onderzoek rechtvaardigt. Net die kritische reflectie op de waarde

en toepasbaarheid van aangenomen waarheden, is een van de

kerndoelen van MEBIT. Studenten leren wetenschappelijke output

te beoordelen en te selecteren in functie van een leervraag uit de

onderwijspraktijk. Om dat te doen, doorlopen ze elk een eigen

onderzoekstraject. Immers, “The proof of the pudding is in the

eating”, eigen ervaringen beklijven vaak het meest.

98

Daarvan levert dit boek een overzicht. Tal van vragen uit zeer

verscheiden onderwijscontexten komen aan bod. “Vergroot

uitleg bij het voorlezen de woordenschat van kleuters?”, “Is een

metacognitieve training effectief in het primair onderwijs?”,

“Verhoogt een tussentijdse toets de leerprestaties in het

hbo?”, “Kan een formatieve toets ervoor zorgen dat studenten

in hun thesis meer gebruik maken van wetenschappelijke

theorie?”, “Vermindert decentrale selectie de studie-uitval in

het hbo?”, “Helpt een studieplanner leerlingen uit het vo?”,

“Motiveert de inhoud van een extra leesoefening studenten

Japans?”, “Zorgt regelmatige feedback voor een groter effect bij

studieloopbaanbegeleiding?” Het zijn maar enkele voorbeelden

van de onderzoeksvragen die in dit boek aan bod komen.

Een onderscheidend kenmerk van de “Meesterwerken”-reeks is

dat de overzichten niet lijden aan ‘publication bias’. Elk onderzoek

krijgt een plek, of het nu de verhoopte effecten kan aantonen of

niet. Beperkingen van het effectonderzoek worden niet uit de

weg gegaan. Soms bleek een interventie heel doeltreffend, maar

even vaak behoeft ze nog verdere verfijning of onderzoek om de

verhoopte opbrengst op te leveren of met grote zekerheid van nut

te zijn in meer opleidingen dan de specifieke context waarin ze

werd beproefd. Zo draagt “Meesterwerken” bij aan de verruiming

van de wetenschappelijke kennis, maar biedt het evengoed zicht

op de zin of onzin van tal van onderwijsacties, telkens beoordeeld

in een werkelijke praktijksetting.

Joris Ghysels, eindredacteur

Henriëtte Maassen van den Brink en Wim Groot

Adam Booij, Sofie Cabus, Johan Coenen, Ilja Cornelisz,

Kristof De Witte, Carla Haelermans, Eline Sneyers, Inne Vandyck,

Chris van Klaveren, docenten en begeleiders in MEBIT

Baukje Bemener

Maartje de Boer

Bart ten Bosch

Ton van den Broek

Willem Brouwer

Veronica Bruijns

Bart de Haan

Romy Keulen-Tummers

Alja van der Lek

Lynette Menting

Freek Morren

Ruud Puts

Jelle Schoemaker

Suzanne van Stratum

Dennis Thijssen

Jeannemiek Timmermans

Robert Tobben

1312

Meer woorden leren

Het effect van uitleg tijdens het voorlezen op de woordenschat van jonge kinderen

Baukje Bemener

Samenvatting

Onderzoek laat zien dat woordenschat een voorspeller is van schoolsucces. Om de

woordenschat van kinderen te vergroten is het van belang daar vroeg mee te starten.

Deze studie zocht een antwoord op de vraag of de woordenschat van kinderen uit de

groepen twee en drie van het reguliere basisonderwijs kon worden vergroot door het

herhaald voorlezen van boeken waarbij moeilijke woorden werden voorzien van een

rijke uitleg. Van drie basisscholen zijn elf klassen met leerlingen (n=186) willekeurig

toegewezen aan de interventie- dan wel de controlegroep. In de interventiegroep

werd voorgelezen en de moeilijke woorden werden voorzien van een rijke uitleg. In

de controlegroep werd alleen voorgelezen. De interventie duurde acht weken. Daarna

werd een toets afgenomen die mat hoeveel woorden de kinderen hadden geleerd. Twee

maanden daarna volgde een gestandaardiseerde toets die de algemene woordenschat

mat. Het effect van de interventie gemeten op de interventie gebonden toets was zeer

klein en niet significant.

Aanleiding

Uit meerdere onderzoeken is gebleken dat woordenschat een voorspeller is voor

schoolsucces (bv. Biemiller, 2010; Duncan et al., 2007; Snow, Burns, & Griffin, 1998).

Bovendien is schoolsucces een voorspeller voor maatschappelijk succes (Edovald,

Bjornstad & Ellis, 2012). Daarmee is het hebben van een grote woordenschat dus

van economisch belang. Kinderen met een grotere woordenschat kunnen de lesstof

makkelijker en beter begrijpen. Wie de lesstof beter begrijpt, haalt vervolgens

makkelijker een beter diploma en heeft daarmee een grotere kans op een geslaagd

maatschappelijk leven met een grotere bijdrage aan de economie.

Ondanks het belang van het hebben van een grote woordenschat lijkt woordenschat-

onderwijs niet de prioriteit te hebben in het dagelijks curriculum op de basisschool. Toch

laten genoeg onderzoeken zien dat de woordenschat van kinderen op eenvoudige wijze

vergroot kan worden. Veel van die onderzoeken zijn echter alleen gericht op kinderen uit

achterstandsituaties of kinderen met leerproblemen. Ook worden in deze onderzoeken

vaak kleine groepjes kinderen uit de klas gehaald om met de onderzoeker aan de slag

te gaan. In een normale situatie in het reguliere basisonderwijs kan een leerkracht niet

met kleine groepjes kinderen buiten de klas aan de slag. Toch heeft deze leerkracht wel

handvatten nodig om de woordenschat van de leerlingen te vergroten. Deze studie

draagt bij aan de bestaande literatuur doordat het hier om een Nederlands onderzoek

gaat dat is gericht op gehele klassen in het reguliere basisonderwijs, waarbij de

1514

interventie wordt uitgevoerd door de leerkrachten zelf. De vraag die centraal staat is: Kan

de algemene woordenschat van kinderen in de groepen twee tot en met drie vergroot

worden door verhalen voor te lezen waarbij moeilijke woorden worden voorzien van een

rijke uitleg?

Onderzoeksopzet

Drie scholen met 11 klassen hebben meegedaan aan het onderzoek. De klassen zijn

willekeurig toegewezen aan een controlegroep en een interventiegroep. Van alle

leerlingen werden de achtergrondgegevens gevraagd: leeftijd in maanden, geslacht,

opleidingsniveau van de ouders, etniciteit en citogegevens. De achtergrondgegevens

zijn gebruikt om te kijken of de groepen niet significant van elkaar verschilden, zodat

een eventueel effect niet toe te schrijven zou zijn aan de interventie. Een voordeel van

het gebruik van hele klassen is dat het overeenkomt met de praktijk. Daarnaast zal er

waarschijnlijk makkelijker toestemming worden gegeven door zowel de scholen als de

ouders om mee te doen aan het experiment en het gevaar van peer-effects wordt uit

de weg gegaan. Het effect wordt gemeten door het verschil te meten in gemiddelde

aantallen aangeleerde woorden tussen de experimentele groep en de controlegroep.

Vooral het verschil acht weken na de eerste meting is belangrijk omdat dit wat zegt over

de langere termijn.

Interventie

Uit de literatuur is gehaald wat de elementen zijn van effectief woordenschatonderwijs.

Hiermee is een interventie ontwikkeld die aan hele klassen is aangeboden door de eigen

leerkracht van die klas. De interventie bestond voor groep twee uit het voorlezen van

een zevental prentenboeken en voor groep drie uit het voorlezen van een voorleesboek,

waarbij woorden werden uitgelegd die komen uit de woordenlijst van Schrooten en

Vermeer (1994). Die lijst bestaat uit woorden die het meest in het onderwijsaanbod

voorkomen en die kinderen moeten kennen om het onderwijs te kunnen volgen. Er was

per dag gemiddeld 10 minuten nodig voor het voorlezen en gemiddeld 20 minuten voor

het uitleggen. Aan het einde van de interventie is een toets afgenomen van tien woorden

volgens dezelfde richtlijnen en procedures als de citotoetsen. De tien woorden zijn

willekeurig gekozen uit het aanbod waarbij is gelet op de verdeling over de boeken en

hoofdstukken, zodat niet alle woorden uit een of twee boeken of hoofdstukken kwamen.

In de controlegroep is alleen voorgelezen.

Resultaten

Het effect van de interventie waarbij gecontroleerd werd voor de achtergrondkenmerken,

bleek niet statistisch significant. Het meedoen aan de interventie verhoogde de score op

de woordentoets met gemiddeld 0,2 punten. Ook voor de algemene woordenschattoets

was het effect niet significant. Dit kwam overeen met de verwachting. Een interventie

van acht weken is te kort om een effect te verwachten op een algemene toets.

Tabel 1

Vergelijking schatters van woordenschattoets

verschil regressie

InterventieLeeftijd (Mnd)

0,47 (0,25) 0,32 (0,23) 0,04* (0,02)

N 186 186

Noot: * p < 0,05 | ** p < 0,01 | *** p < 0,001

Tabel 1 laat zien dat bij controle voor leeftijd het verschil kleiner wordt. Maar welke

controlestrategie ook werd toegepast, de coëfficiënt werd nooit statistisch significant

verschillend van nul.

Voor een herhaling van het onderzoek wordt aanbevolen om meer klassen te vinden die

mee willen doen. Aangezien er is toegewezen op klassenniveau en het aantal klassen de

steekproefgrootte bepaalt, moeten we dan al gauw uitgaan van minstens 40 klassen.

Gezien het voorspellende karakter van leeftijd is het verstandig om het onderzoek dan

alleen plaats te laten vinden bij de groepen drie. Van deze leerlingen zijn de pretestscores

meer betrouwbaar, bovendien zijn oudere leerlingen beter in staat om receptieve

toetsen te maken. De keuze voor de gekozen prentenboeken werd gewaardeerd door

zowel de leerkrachten als de leerlingen. Leerkrachten zagen in eerste instantie op tegen

het vier keer voorlezen, maar er werd wel teruggegeven dat vooral de taalzwakkere

leerlingen er echt baat bij bleken te hebben. Bij hun viel het kwartje vaak pas bij de derde

of vierde keer. Het is dus goed mogelijk dat leerlingen uit de controlegroep hierdoor

toch ook woorden hebben bijgeleerd waardoor het verschil tussen interventiegroep en

controlegroep niet significant was. Een vervolgonderzoek zou een derde groep kunnen

opnemen waar helemaal niets gedaan wordt. Dus en niet voorlezen en niet uitleggen,

dan kan ook worden nagegaan wat het effect van het herhaald voorlezen is. Ook het

van te voren nagaan welke woorden kinderen al kennen zou kunnen bijdragen. In het

1716

huidige onderzoek is gebruik gemaakt van een woordenlijst uit 1994. Dat is ruim 20

jaar geleden, en gezien de veranderingen in de maatschappij van de afgelopen 20

jaar is het zeer aannemelijk dat deze lijst niet bepaald up- to-date is. Daarnaast zou

het goed zijn de leerlingen langer te volgen in een longitudinaal onderzoek waardoor

er meer gezegd kan worden over het effect op de algemene woordenschat. Om de

haalbaarheid van zo’n longitudinaal onderzoek te vergroten zou je gebruik kunnen

maken van meerdere scholen die op nog meer achtergrondkenmerken op elkaar lijken.

Door die willekeurig toe te wijzen aan de interventie- dan wel controlegroep kun je de

arbeidsintensieve nulmetingen weglaten. Middels een vragenlijst moeten er dan wel

veel meer achtergrondgegevens van ouders gevraagd worden, en die moeten dan wel

willen meewerken.

Dit alles is alleen nodig als men echt een effect wil vaststellen van een bepaalde manier

van aanbod. De vraag had misschien beter kunnen zijn: Hoe krijg je leerkrachten zover

dat ze beter woordenschatonderwijs gaan geven? Want om eerlijk te zijn weten we

allang dat woordenschat van jonge kinderen groeit door veel voor te lezen en veel

woorden uit te leggen en kinderen de gelegenheid te geven om woorden toe te passen.

We weten allang dat kinderen veel herhaling en oefening nodig hebben als het gaat

om leren. Maar wat gaan we doen om de leerkracht in beweging te krijgen? En wellicht

ook de ouders, want kinderen komen binnen met enorme verschillen. Dat betekent dat

het in sommige gezinnen prima gesteld is met het woordenschataanbod, maar in vele

gezinnen ook helemaal niet. En we kunnen niet alles op het bordje van het onderwijs

leggen.

Referenties

• Biemiller, A. (2010). Words, worth teaching: Closing the vocabulary gap. New York, NY: McGraw-Hill.

• Duncan, G.J., Dowsett, C.J., Claessens, A., Magnuson, K., Huston, A.C., Klebanov, P., Pagani, L., Feinstein,

L., Engel, M., Brooks-Gunn, J., Sexton, H., Duckworth, K. & Japel, C. (2007). School readiness and later

achievement. Developmental Psychology, 43, 1428-1446. doi: 10.1037/0012-1649.43.6.1428

• Edovald, T., Bjornstad, G. & Ellis, D. (2012). Investing in children: Early years and education. Retrieved from:

http://dartington.org.uk

• Murnane, R.J. & Willett, J.B. (2011). Methods matter; Improving causal inference in educational and social

science research. New York: Oxford University Press

• Schrooten, W. & Vermeer, A. (1994). Woorden in het basisonderwijs; 15.000 woorden aangeboden aan

leerlingen. Tilburg: Tilburg University Press

• Snow, C.E., Burns, S. & Griffin, P. (1998). Preventing reading difficulties in young children. Washington, DC:

National Academy Press.

Baukje Bemener

Baukje Bemener heeft in 2005 de Pabo afgerond en is sindsdien werkzaam in het

basisonderwijs. In 2010 is zij begonnen aan de opleiding ‘Forensische Orthopedagogiek’

aan de UvA. Na het afronden van de bachelor fase kwam de mogelijkheid voorbij

om de MEBIT opleiding te doen. Omdat de MEBIT opleiding beter aansloot op haar

werkzaamheden heeft zij de overstap gemaakt. Momenteel is zij in navolging van haar

opleiding bezig met het project ‘New Pedagogies of Deep Learning’.

bio

grafi

e

1918

Wat beweegt de monumenteigenaar?

Een onderzoek naar het aanvraaggedrag van de monumenteigenaar: weegt een hogere eigen bijdrage op tegen meer zekerheid over subsidietoekenning?

Maartje de Boer

Samenvatting

In Nederland kan de eigenaar van een rijksmonument subsidie aanvragen bij de

rijksoverheid voor onderhoud van het monument. Hiervoor is in 2006 de zogenaamde

Brim regeling in werking getreden (Besluit rijkssubsidiëring instandhouding

monumenten). Eigenaren kunnen eens in de zes jaar een nieuwe subsidieaanvraag

indienen. De eerste zesjarige Brim cyclus is geëindigd in 2011. Met ingang van de nieuwe

cyclus in 2013 is de regeling gewijzigd om het beschikbare budget beter te verdelen.

Hierdoor is de eigen bijdrage van de monumenteigenaar aan de onderhoudskosten

procentueel hoger geworden. Deze studie onderzoekt of er een waarneembare

relatie is tussen deze beleidswijziging (de interventie) en het aanvraaggedrag van de

monumenteigenaar. Wordt de kans op het indienen van een subsidieaanvraag groter

of kleiner na de interventie, in welke mate en zijn er kenmerken van de eigenaar die

hier invloed op uitoefenen? Voor de steekproef als geheel is een klein significant

positief verband waargenomen tussen de interventie en de kans op het indienen

van een subsidieaanvraag. Dit verband is echter verschillend voor de vijf typen

eigenaren. Particulieren ondervinden na de interventie een significante afname in

de kans op indiening van 21%. Twee andere typen eigenaren hebben een significante

toename in die kans en voor twee typen eigenaren is er geen significant verband met

de interventie waargenomen. Financiële kenmerken, geslacht, leeftijd en opleiding

van de monumenteigenaar hebben allen een relatie met de kans op indiening na de

interventie. Alle gecontroleerde kenmerken zijn echter zwakke voorspellers van de

uitkomstmaat. Het onderzoek levert input voor het monitoren en evalueren van het

huidige subsidiebeleid. De uitkomsten van dit onderzoek moeten als voorlopig worden

beschouwd. Definitieve uitkomsten zijn pas mogelijk na afloop van de tweede Brim cyclus

die eindigt in 2018.

Aanleiding

Nederland kent met ingang van 2006 een Brim subsidieregeling die gericht is op

het planmatig onderhouden van ca. 34.000 gebouwde rijksmonumenten. In 2011

is de regeling geëvalueerd (Elbers, Verfürden & de Graaf, 2011). Daaruit bleek een

grote budget overvraag. Dit was de directe aanleiding voor een nieuwe regeling

voor de periode 2013-2018, de interventie waar dit onderzoek zich op richt (Besluit

rijkssubsidiering instandhouding monumenten 2013, 2012). Deze interventie bestaat uit

een combinatie van maatregelen als gevolg waarvan de meeste eigenaren procentueel

een hogere eigen bijdrage moeten betalen voor het onderhoud van hun monument

(Zijlstra, 2012). Er is nooit getoetst wat de gevolgen van deze beleidswijziging zijn

2120

voor de monumenteigenaren. Dergelijk wetenschappelijk onderzoek is binnen het

Nederlandse en internationale erfgoeddomein ook niet bekend. Uit Engels onderzoek

is gebleken dat het indienen van een subsidieaanvraag voor het onderhoud van

woonhuismonumenten een financiële beslissing is (Hills & Worthing, 2006; Forster

& Kayan, 2009). Of dit voor niet-woonhuismonumenten in de Nederlandse context

hetzelfde is en welke factoren een rol spelen bij de aanvraagbeslissing van de eigenaar, is

niet bekend. Dit onderzoek vult deze lacune op.

Interventie

De interventie bestaat uit een mix van maatregelen: het subsidiepercentage is voor

alle eigenaren op 50% gezet (dit is een verlaging behalve voor de overheden die er 20

procentpunt op vooruit zijn gaan), het maximum bedrag aan subsidiabele kosten is

gerelateerd aan de herbouwwaarde van het monument (en daarmee in veel gevallen

verlaagd) en er is een voorrangsregeling ingevoerd. Aanvragen voor monumenten

behorend tot een werelderfgoed en voor monumenten van Professionele Organisaties

voor Monumentenbehoud (POMs) hebben voorrang. Bij een overvraag hebben

aanvragen met het kleinste bedrag voorrang. Door deze herverdeling van het budget

kan men meer aanvragen honoreren en hoopt men de onzekerheid over toekenning van

subsidie grotendeels weg te nemen. De prognose is dat over de eerste volledige cyclus

van de nieuwe regeling (2013-2018) bijna 92% van de subsidieaanvragen gehonoreerd

zal worden. De interventie is in 2013 in werking getreden en is van kracht voor alle

eigenaren die in aanmerking komen voor Brim subsidie. De monumenteigenaar is zelf

de sturende actor. Binnen de kaders van de regeling is hij degene die beslist of hij een

subsidie aanvraagt.

Opzet van het onderzoek

Dit onderzoek gaat uit van een correlationeel design omdat er dusdanige kanttekeningen

bij het design geplaatst moeten worden dat een causaal design niet mogelijk is. De

onderzoekspopulatie bestaat uit 9 observaties voor elk monument, 9 jaren waarin sprake

kan zijn van een aanvraagbeslissing. Gedurende de eerste Brim subsidieregeling zijn in

de periode 2006 t/m 2011 alle monumenttypen gefaseerd ingestroomd. Daarnaast mag

een monumenteigenaar eens in de zes jaar opnieuw subsidie aanvragen. Een eigenaar

mag dus niet in elk willekeurig jaar indienen. Dit is sturend voor het aanvraaggedrag

van de eigenaar. Door de instroomfasering mogen kerken pas in 2015 een tweede

aanvraag indienen. Met beide beperkingen is rekening gehouden bij het definiëren van

de steekproef die bestaat uit 33.185 observaties voor 7.387 monumenten en 12.076

ingediende aanvragen. Er is verder gecontroleerd voor de aantoonbare invloed van

tijdsafhankelijke factoren door de meetperiode in te perken tot 2011 t/m 2014, twee jaar

voor en twee jaar na de interventie. Voor deze meetperiode zijn er 14.807 observaties.

Om vast te stellen of er een statistisch significant verband is tussen de interventie en

het aanvraaggedrag van de eigenaar zijn logistische regressieanalyses uitgevoerd. Met

behulp van t-toetsen is onderzocht of de controlegroep (observaties 2011+2012) en de

interventiegroep (observaties 2013+2014) gelijk zijn aan elkaar. Hieruit bleek dat de

groepen voor het relevante kenmerk ‘type eigenaar’ significant van elkaar verschillen.

In de regressieanalyses wordt hier voor gecontroleerd. Het ‘type eigenaar’ staat als

controlevariabele echter niet helemaal los van de interventie. Om het verband tussen de

interventie en de kans op indiening per type eigenaar zuiver te meten zijn daarom per

type eigenaar afzonderlijke regressie uitgevoerd met de interventievariabele.

Het onderzoek is uitgevoerd op basis van data uit de subsidieregistratie van de

Rijksdienst voor het Cultureel Erfgoed (OCW), de subsidieverstrekker, en aanvullende

kwalitatieve informatie uit een enquête onder monumenteigenaren. De bruikbare

respons bedroeg 727 reacties (19%), dat zijn 6.543 observaties (727 monumenten x 9

jaar). De non respons bestaat uit 26.352 observaties. Uit t-toetsen blijkt dat de respons-

en de non responsgroep niet vergelijkbaar zijn. De resultaten van de responsgroep zijn

dus niet te veralgemenen naar de non-responsgroep of de hele onderzoekspopulatie. Bij

de analyses is gecontroleerd voor het verschil in type eigenaar tussen beide groepen. De

enquête heeft inzicht gegeven in een aantal financiële kenmerken van de eigenaar. Deze

zijn als controlevariabelen toegevoegd aan de regressieanalyses voor de responsgroep. Bij

particulieren en eigenaren van eenmanszaken is ook gecontroleerd voor geslacht, leeftijd

en opleiding van de eigenaar. Hoewel hiermee niet voor alle (on)zichtbare verschillen is

gecontroleerd, is dit onderzoek hierdoor wel indicatief voor de werkelijkheid.

Resultaten

Voor de steekproef als geheel, gecontroleerd voor de covariabelen ‘type eigenaar’ en

tijdsafhankelijke factoren, is er een significant positief verband waargenomen tussen de

interventie en de kans op het indienen van een subsidieaanvraag (zie Tabel 1). De kans

op indiening is na de interventie groter dan ervoor.

2322

Tabel 1

Logistische regressie voor meetperiode 2011 t/m 2014

Variabelen Model 1 Model 2

Constante 0,84*** 0,51***

Interventie 1,18*** 1,15***

Bedrijven 1,12**

Vereniging, stichting, kerkbestuur (VSK) 1,70***

Professionele organisatie voor monumentenbehoud (POM) 3,95***

Overheden (niet-rijk) 1,28***

Particulieren (referentiegroep)

% correct voorspeld 52% 61%

Nagelkerke R² 0,00 0,08

N= 14.807. Uitkomstmaat ‘subsidie ingediend ja/nee’.

Weergegeven zijn de odds-ratio’s Exp(B) en hun significantie.

Significantieniveaus: * = 0,10 | ** = 0,05 | *** = 0,01

Referentiegroep type eigenaar = particulier.

Los van de interventie hebben de verschillende typen eigenaren een andere kans op

indiening. Deze kans is voor alle andere typen eigenaren significant groter dan die van de

particuliere eigenaren. Na de interventie vertonen drie typen eigenaren een significante

wijziging in de kans op indiening, zie Tabel 2.

De particulieren hebben als enige groep een afname in de kans op indiening (-21%).

Twee typen eigenaren die na de interventie een preferente positie hebben, de lagere

overheden en de ‘professionele organisaties voor monumentenbehoud’ (POMs), hebben

na de interventie een grotere kans op het indienen van een aanvraag. Hun trend maakt

een positieve beweging door in tegenstelling tot die van de andere eigenaren.

De enquête geeft inzicht in aanvullende financiële kenmerken van de eigenaren uit de

responsgroep. Meer dan de helft van de respondenten geeft aan voldoende financiële

middelen voor onderhoud te hebben, in een gelijke of betere financiële situatie te

verkeren dan 6 jaar geleden, een eigen bijdrage van 50% te kunnen betalen, nu en naar

verwachting ook over 2 jaar, en zelfs 92% geeft aan hier toe in principe ook bereid te

zijn. De particulieren en eigenaren van eenmanszaken zijn overwegend mannen, meer

dan de helft is tussen de 51 en 70 jaar oud en 69% is hoog opgeleid (WO en HBO).

Deze enquêtevariabelen doen, los van de interventie, niets met de kans op indiening.

De onderzochte kenmerken hebben wel ieder voor zich een significante (overwegend

positieve) relatie met de kans op indiening ná de interventie.

Tabel 2

Logistische regressie apart uitgevoerd per type eigenaar voor de meetperiode 2011-2014

Type eigenaar Overall percentage

Nagelkerke R² Exp(B) voor interventie-

dummy

Bedrijven (N=2.264) 62 % 0,00 0,99

Particulieren (N=3.012) 65 % 0,01 0,70***

Vereniging, stichting, kerkbestuur (VSK) (N=3.286)

52 % 0,00 0,93

Professionele organisaties monumentenbehoud (POM) (N=3.558)

69 % 0,04 2,06***

Overheden (N=2.687) 59 % 0,01 1,46***

Uitkomstmaat ‘subsidie ingediend ja/nee’. Weergegeven zijn: het ‘overall percentage’ als indicator

van de voorspellende kracht van het regressiemodel, de Nagelkerke R² als indicator van de verklaarde

variantie in de uitkomstmaat en de odds-ratio’s Exp(B) en hun significantie voor de interventiedummy.

Significantieniveaus: * = 0,10 | ** = 0,05 | *** = 0,01

Ondanks de significante verbanden met de kans op indiening zijn de interventie-

variabele, de controlevariabelen ‘type eigenaar’ en de enquêtevariabelen geen sterke

voorspellers van de uitkomstmaat. Enige uitzondering hierop zijn het geslacht en de

opleiding van de particulieren en eigenaren van eenmanszaken. Tijdsafhankelijke

factoren zijn een sterkere voorspeller, maar ook na controle hiervoor is er nog veel

onverklaarde heterogeniteit in het aanvraaggedrag van de monumenteigenaar.

De context van dit onderzoek komt overeen met het mechanisme van een verzekering:

een eigenaar ‘koopt’ als het ware meer zekerheid over toekenning van subsidie door het

betalen van een hogere eigen bijdrage. De literatuur over individuele risicohoudingen

en risicotolerantie (Kahneman & Tversky, 1979; Guiso & Paiella, 2008; Donkers & van

Soest, 1999; Hartog, Ferrer-i-Carbonell & Jonker, 2002; Hallahan, Faff & McKenzie, 2004)

toont aan welke rol de individuele risicohouding hier bij speelt. Volgens deze literatuur

is een individu in een slechte financiële situatie minder risicotolerant waardoor hij

meer behoefte heeft aan zekerheid. In de context van dit onderzoek zou een minder

risicotolerante eigenaar dus eerder geneigd zijn om de procentueel hogere eigen

bijdrage te betalen. De uitkomsten van het onderzoek zijn niet helemaal consistent met

de bevindingen van deze literatuur. In veel gevallen zijn ook praktische verklaringen te

2524

bedenken voor de uitkomsten die los staan van de risicohouding. Juist in een financieel

mindere situatie kan het krijgen van 50% subsidie net voldoende zijn om nog onderhoud

uit te kunnen voeren. En ook na de interventie krijgt de eigenaar nog steeds de helft van

de subsidiabele kosten vergoed. De praktijk van de onderzochte subsidieregeling is een

hele andere context dan de experimenten waar een groot deel van de literatuur zich op

baseert. Het blijft dus maar zeer de vraag of de individuele risicohouding een dominante

factor is in de praktijk van het aanvraaggedrag.

Conclusie en discussie

De beleidsdoelstelling achter de interventie is met hetzelfde budget meer

subsidieaanvragen te honoreren. Dit lijkt te werken. Alle typen eigenaren behalve

de particulieren dienden in die gevallen waarin dat mocht, na de interventie

verhoudingsgewijs meer aanvragen in dan ervoor. Voor de hele onderzoekspopulatie is

het percentage toegekende aanvragen na de interventie gestegen tot ca. 83%. Dit is nog

niet de beoogde norm van 92% maar deze heeft betrekking op de volledige looptijd van de

tweede Brim cyclus tot en met 2018. Harde uitspraken zijn dus pas mogelijk na afloop van

2018.

Een andere beleidsmatig relevante vraag is of de interventie bepaalde groepen onbedoeld

benadeelt. De particuliere eigenaren komen er volgens dit onderzoek het slechtst vanaf.

Maar ook hier moeten we voorzichtig zijn met het trekken van een conclusie. Gezien hun

relatief lage organisatiegraad als groep kan een informatieachterstand de reden zijn voor

het achterblijven van hun aanvragen na de interventie. Ook daarom moet het onderzoek

herhaald worden voor de volledige Brim periode 2013-2018 om harde uitspraken te

kunnen doen.

Referenties

• Besluit van 19 september 2012, houdende vaststelling van regels met betrekking tot financiële

ondersteuning van eigenaren voor de instandhouding van rijksmonumenten (Besluit Rijkssubsidiering

instandhouding monumenten 2013). (2012). Staatsblad van het Koninkrijk der Nederlanden, jaargang

2012, 438.

• Donkers, B. & van Soest, A. (1999). Subjective measures of household preferences and financial decisions.

Journal of Economic Psychology, 20, 613-642.

• Elbers, A., Verfürden, B. & de Graaf, W. (2011). Evaluatie Brim 2011. Ministerie van Onderwijs, Cultuur en

Wetenschap, Den Haag.

• Forster, A.M. & Kayan, B. (2009). Maintenance for historic buildings: a current perspective. Structural

Survey, 27(3), 210-229.

• Guiso, L. & Paiella, M. (2008). Risk aversion, wealth and background risk. Journal of the European Economic

Association, 6(6), 1109-1150.

• Hallahan, T.A., Faff, R.W. & McKenzie, M.D. (2004). An empirical investigation of personal financial risk

tolerance. Financial Services Review, 13, 57-78.

• Hartog, J., Ferrer-i-Carbonell, A. & Jonker, N. (2002). Linking measured risk aversion to individual

characteristics. Kyklos, 55(1), 3-26.

• Hills, S. & Worthing, D. (2006). Private Home, public cultural asset: the maintenance behaviour of listed

building owner-occupiers. Journal of Housing and the Built Environment, 21(2), 203-213.

• Kahneman, D. & Tversky, A. (1979). Prospect theory: an analysis of decision under risk. Econometrica,

47(2), 263-292.

• Zijlstra, H. (2012). Brief aan de voorzitter van de Tweede Kamer betreffende het Brim 2013, d.d. 2 april

2013. Ministerie van Onderwijs, Cultuur en Wetenschap, Den Haag.

2726

Maartje de Boer

Maartje de Boer (47) is sinds 2003 werkzaam bij de Rijksdienst voor het Cultureel

Erfgoed (OCW). Na haar studie Oudheidkunde aan de VU heeft zij een opleiding HEAO

Bedrijfseconomie afgerond. Beide invalshoeken worden verenigd in haar huidige werk

als programmamanager Erfgoedmonitor. Met deze Erfgoedmonitor worden de staat van

het erfgoed, het functioneren van het erfgoedstelsel en effecten van het erfgoedbeleid

in Nederland stelselmatig gemonitord en in kaart gebracht. In 2012 is zij begonnen met

de Master Evidence based Policy Evaluation om onderzoekstechnieken op academisch

niveau te ontwikkelen. Deze opleiding heeft zij na het eerste semester voortgezet bij

de Master Evidence Based Innovation in Teaching, een ander domein maar dezelfde

onderzoekstechnieken. Met de geleerde technieken kan zij haar onderzoekswerk op

een wetenschappelijk niveau voortzetten in de hoop hierover te kunnen publiceren.

Daarmee kan zij een bijdrage leveren aan het wetenschappelijk onderzoek binnen het

erfgoeddomein.

bio

grafi

e

2928

I need to read

Het effect van zelfregulerend leren op leesbegrip bij risicoleerlingen uit het primair onderwijs

Bart ten Bosch

Samenvatting

In deze studie is het causale effect van zelfregulerend leren op leesbegrip getoetst

bij leerlingen uit het primair onderwijs. De conclusie luidt dat het aanbieden van

metacognitieve kennis verwerkt in een profiel en drie bijbehorende instructiemomenten

geen direct significant effect heeft op leesbegrip (Cito LOVS-toets begrijpend lezen).

Na het verstrijken van de interventieperiode hebben docenten een vragenlijst

ingevuld waarin zij onder andere konden aangeven of ondersteuning voor of tijdens

de interventieperiode wenselijk zou zijn geweest. Wanneer met dit gegeven een

interactievariabele wordt geconstrueerd blijkt de interventie een significant negatief

effect te hebben voor leerlingen uit klassen van hulpbehoevende docenten. Voor

leerlingen uit klassen waarvan de docent ondersteuning niet nodig acht, heeft de

interventie een significant positief effect.

Aanleiding

Onderwijs heeft als taak het gereedmaken van mensen op het toekomstig functioneren

in de maatschappij. Gezondheid, inkomen en deelname aan de samenleving hangen

nauw samen met opleidingsniveau. Dat maakt onderwijs een belangrijke scheidslijn

(OCW, 2015). Het is zorgwekkend dat ondanks inspanningen van de Nederlandse

overheid om onderwijsachterstanden voortvloeiend uit economische, sociale en

culturele factoren in de thuissituatie van leerlingen tegen te gaan en terug te dringen,

risicoleerlingen afkomstig uit gezinnen met een lage sociaal economische status en van

niet- Nederlandse ouders, kampen met onderwijsachterstanden waaronder leesbegrip

(Driesen, 2012; Netten, Droop & Verhoeven, 2012; Roeleveld, Driessen, Ledoux, Cuppen

& Meijer, 2011). De vaardigheid om betekenis te ontlenen uit een geschreven tekst blijkt

van invloed op zowel de schoolloopbaan- als de maatschappelijke carrière (National

Reading Panel, 2000; Slavin, Lake, Chambers, Cheung & Davis, 2009).

De aanzienlijke toename van beschikbare informatie en snelle technologische

ontwikkelingen maken dat leerlingen op een andere manier voorbereid moeten worden

op de hedendaagse kennismaatschappij (Dignath, Buettner & Langfeldt, 2008). Om

succesvol te kunnen zijn in de moderne samenleving is een set van cognitieve, sociale

en emotionele vaardigheden cruciaal (OECD, 1997). Onmisbaar zijn aspecten deel

uitmakend van de zogeheten 21st century skills waaronder zelfregulering, analytisch

denken en metacognitieve vaardigheden. Het is bedenkelijk dat er binnen het onderwijs

onvoldoende nadruk wordt gelegd op de ontwikkeling van deze vaardigheden, zeker

gezien hier de nieuwe achterstanden van de toekomst zich dreigen aan te kondigen

(OCW, 2015).

3130

Interventie

Leerlingen participerend in het onderzoek (N = 419) beheersen de leesstrategieën die

tijdens het leesproces worden ingezet, de zogeheten regulatiestrategieën, minder dan de

strategieën die voor of na het lezen kunnen worden ingezet blijkt uit een vragenlijst die

alle leerlingen voorafgaand aan de interventieperiode hebben ingevuld. De uitkomsten

van deze vragenlijst zijn tezamen met handvatten waarmee het leesstrategiegebruik

verbeterd kan worden, verwerkt in een profiel. Dit profiel is aangereikt aan de

interventiegroep met als doel inzicht te bieden in het eigen leesstrategiegebruik en

het verhogen van de intrinsieke motivatie om het leesstrategiegebruik te verbeteren

met behulp van de aangeboden handvatten. Omdat de regulatie van het eigen

leerproces een vaardigheid is die jonge leerlingen niet vanzelf ontwikkelen, maken drie

instructiemomenten deel uit van de interventie (zie Tabel 1). De interventie betreft

een aanvulling op het reguliere curriculum. Het aanreiken van het profiel en de drie

instructiemomenten zijn de enige aspecten waarmee de interventiegroep zich van de

controlegroep onderscheid.

Tabel 1

lesmomenten behorende bij de interventie

les 1 45 min 2e week oktober • begrippen motivatie en metacognitie toelichten• verhogen van de intrinsieke motivatie• metacognitieve kennis aanbieden en bespreken, resultaten

Moelands et al., (2007)

les 2 45 min 3e week oktober• herhalen begrippen motivatie en metacognitie• opstellen van persoonlijke leerdoelen• planning maken van het leerproces

les 3 45 min 2e week november - evaluatie van het leerproces

Opzet onderzoek

Twintig intacte klassen afkomstig uit de leerjaren zes, zeven en acht van het primair

onderwijs, zijn middels een cluster-gerandomiseerd design toegewezen aan de

controlegroep (N = 230) of de interventiegroep (N = 189). De klassen situeren zich

binnen vijf po-scholen gevestigd in wijken die gekenmerkt worden door onder andere

een hoge werkloosheid, veiligheidsproblematiek en een hoog percentage niet westerse

allochtonen van grotendeels Turkse en Marokkaanse afkomst. Van de 419 leerlingen

zijn 228 leerlingen afkomstig uit gezinnen waarvan één of beide ouders maximaal het

basisonderwijs of (v)so-zmlk heeft doorlopen (zie gewichtenregeling primair onderwijs).

Een T-test wees uit dat de controlegroep en de interventiegroep niet geheel gebalanceerd

zijn ten aanzien van enkele voormetingen. Een potentiële oorzaak van deze onbalans

is het beperkt aantal clusters waarmee gerandomiseerd is. Na het randomisatieproces

heeft één school te kennen gegeven zich niet aan de initiële toewijzing te kunnen

conformeren (zie Tabel 2). Dit heeft als consequentie dat 47 leerlingen behorende tot de

interventiegroep, de interventie niet hebben ontvangen.

Tabel 2

beschrijvende statistieken compliers en non compliers

compliers(N = 142)

non compliers(N = 47)

controlegroep(N = 230)

M s.d. M s.d. M s.d.

leeftijd 127,28 12,83 114,56 6,99 124,63 12,33

Geslacht 0,53 0,50 0,49 0,51 0,53 0,50

Leerlinggewicht 1,3 0,50 0,50 0,60 0,49 0,56 0,50

Leerlinggewicht 0,3 0,06 0,24 0,02 0,15 0,02 0,15

Leerlinggewicht 0,0 0,44 0,50 0,37 0,49 0,42 0,49

Voormeting leesbegrip 29,53 12,31 27,79 12,51 25,45 14,07

Nameting leesbegrip 37,07 16,02 35,15 13,35 33,85 16,23

School 1 0,27 0,44 0,00 0,00 0,27 0,45

school 2 0,25 0,44 0,00 0,00 0,08 0,27

School 3 0,14 0,35 0,00 0,00 0,17 0,38

School 4 0,18 0,38 1,00 0,00 0,30 0,46

School 5 0,16 0,37 0,00 0,00 0,17 0,38

Clusters 8 2 10

Leerlingen die zich niet aan de willekeurige toewijzing hebben gehouden (non compliers)

zijn gemiddeld 12,72 maanden jonger dan leerlingen die zich wel aan de toewijzing

hebben gehouden (compliers). Tevens bevinden zich binnen de groep non compliers

10% meer leerlingen met een leerlinggewicht 1,2. De verschillen tussen compliers en

non compliers zijn dusdanig dat dit ten koste gaat van de zuiverheid waarmee het

effect wordt gemeten. Om voor dit probleem te controleren, is in de data-analyse het

treatment-on-the-treated-effect geschat, waardoor het effect van de interventie alsnog

causaal geïnterpreteerd kan worden.

3332

Resultaten

Een fixed effect-regressieanalyse is toegepast om het intent-to-treat-effect te schatten

waarbij alle klassen volgens de initiële toewijzing in de regressieanalyse zijn opgenomen.

Leerlingen die zijn toegewezen aan de interventiegroep behalen gemiddeld 2,40 (t

= 1,45, p = 0,15) vaardigheidspunten meer dan leerlingen uit de controlegroep. Dit

verschil is echter niet significant. Willekeurige toewijzing aan de interventiegroep

biedt echter geen garantie voor het daadwerkelijk gebruik maken van de interventie.

De instrumentele variabele analyse Two-stages-least-squares is toegepast waarmee

is gecontroleerd voor de non compliance. Tabel 3 toont de uitkomsten van 2SLS-

analyse waarbij de resultaten uiteen zijn gezet in de hele steekproef en de subgroep

risicoleerlingen, dit zijn leerlingen met een toegekend leerlingewicht van 1,2.

Tabel 3

instrumentele variabele analyse Two-stages-least-squares

Gehele steekproef(N = 419)

Risicoleerlingen(N = 228)

Model 1 Model 2 Model 3 Model 1 Model 2 Model 3

Gebruik interventie3,59

(4,57)-0,96(1,81)

4,87**(2,40)

0,92(2,01)

-0,84(1,41)

6,74***(2,85)

Voormeting begrijpend lezen

0,90***(0,07)

0,89***(0,07)

0,83***(0,06)

0,82***(0,10)

Voormeting strategiegebruik

0,01(0,24)

-0,07(0,24)

0,18(0,26)

0,08(0,36)

Geslacht0,12

(1,14)0,27

(1,13)0,24

(1,36)0,11

(1,22)

Leeftijd0,10*

(0,06)0,10**

(0,05)0,08

(0,06)0,14**

(0,06)

Leerlinggewicht 0,3-4,33*(2,51)

-3,15(2,33)

Leerlinggewicht 1,2-1,36(1,08)

-0,11(0,96)

Interactie-effect hulp bij interventie

-7,33***(1,78)

-8,05***(2,40)

Constante-0,99(5,84)

-1,09(7,97)

-0,99(8,84)

-7,75(10,62)

R2 0,007 0,62 0,63 0,55 0,57

F 64,75 102,29 107,97 47,17 82,37

*= p<0,10 | **= p<0,05 | *** = p<0,01 | SE geclusterd op klasniveau

Leerlingen die gebruik hebben gemaakt van de interventie (zie Model 1) behalen

gemiddeld 3,59 vaardigheidspunten meer dan de controlegroep. Voor de subgroep

risicoleerlingen is dit verschil slechts 0,92 vaardigheidspunt. Het includeren van

achtergrondkenmerken (zie Model 2) resulteert in een negatief effect van de interventie.

Voor beide modellen geldt dat de verschillen niet significant zijn en dus niet met

voldoende zekerheid aan de interventie kunnen worden toegeschreven.

In de literatuur worden docentfactoren beschreven die het effect van de interventie

mogelijk beïnvloeden. Docenten in deze studie hebben geen scholing en begeleiding

ontvangen voorafgaand aan en tijdens de interventieperiode. Het bieden van

scholing aan docenten ten aanzien van het onderwijzen van strategiegebruik had

wellicht tot effectiever onderwijs geleid. Om enigszins voor het mogelijk effect

hiervan te controleren, is na afloop van de interventie aan docenten gevraagd of

ondersteuning tijdens de interventie wenselijk zou zijn geweest. Met dit gegeven is een

interactievariabele geconstrueerd (zie Model 3). Leerlingen die gebruik hebben gemaakt

van de interventie en zich in een klas bevonden waarvan de docent ondersteuning niet

nodig acht, behalen 4,87 (B = 4,87, p = 0,04) vaardigheidspunten meer dan leerlingen

uit de controlegroep. De interventie heeft een negatief effect voor leerlingen uit

interventieklassen waarvan de docent heeft aangegeven hulp wel wenselijk te vinden,

zij behalen 4,87 (B = 4,865, p = 0,04) – 7,33 (B = -7,33, p = 0,00) = 2,46 vaardigheids-

punten minder dan leerlingen uit de controlegroep. Ook voor de subgroep risico-

leerlingen zijn soortgelijke bevindingen gevonden. Risicoleerlingen situerend in

klassen waarvan de docent hulp niet nodig acht behalen (B = 6,737, p = 0,01) 6.74

vaardigheidspunten meer dan leerlingen uit de controlegroep. Situeren risicoleerlingen

echter in een groep waarvan de docent heeft aangegeven ondersteuning wenselijk te

vinden, heeft de interventie wederom een negatief effect. Zij behalen 6,64 (B = 6,737,

p = 0.01) – 8,05 (B = -8,05, p = 0,001) = 1,41 vaardigheidspunten lager dan leerlingen uit

de controlegroep.

Conclusie

Zowel de effecten van de interventie als de kwalitatieve data afkomstig uit de vragenlijst

voor docenten tonen dat zelfregulerend leren een meer prominentere rol in het primair

onderwijs zou mogen krijgen. Alvorens hiertoe te besluiten is het van belang de

mogelijkheden verder te exploreren en dan met name de rol van de docent te bekijken. In

het voorliggende onderzoek zijn namelijk nog teveel onduidelijkheden aangaande welk

mechanisme verantwoordelijk is voor de gemeten effecten.

3534

Referenties

• De Boer, H., Donker-Bergstra, A.S. & Kostons, D.D.N.M. (2012). Effective Strategies for Selfregulated

Learning: A Meta-Analysis. Groningen: Gronings Instituut voor Onderzoek vanOnderwijs.

• Dignath, C., Buettner, G. & Langfeldt, H. (2008). How can primary school students learn selfregulated

strategies most effectively? A meta-analysis on self-regulation training programmes. Educational Research

Review, 3, 101-129.

• Driessen, G. (2012). De doelgroepen van het onderwijsachterstandenbeleid: ontwikkelingen in prestaties

en het advies voortgezet onderwijs. Nijmegen: ITS.

• Roeleveld, J., Driessen, G., Ledoux, G., Cuppen, J. & Meijer, J. (2011). Doelgroepleerlingen in het

basisonderwijs. Historische ontwikkeling en actuele situatie. Kohnstamm Instituut: Amsterdam.

• Slavin, R.E., Lake, C., Chambers, B., Cheung, A. & Davis, S. (2009). Effective Reading Programs for the

Elementary Grades: A Best-Evidence Synthesis. Review of Educational Research, 79, 1391-1466.

• Moelands, F., Jongen, I., Van der Schoot, F. & Hemker, B. (2007). Balans over de leesstrategieën in het

primair onderwijs. Uitkomsten van de eerste peiling in 2005. Arnhem, Cito (PPON-reeks, 35).

• National Institute of Child Health and Human Development (2000). Report of the National Reading Panel.

Teaching children to read: An evidence-based assessment of the scientific research literature on reading

and its implications for reading instruction. Washington, DC: U.S.Government Printing Office.

• Netten, A., Droop, M. & Verhoeven L. (2012). Trends in leerprestaties in Lezen, Rekenen en

Natuuronderwijs. PIRLS, TIMSS 2011. Radboud Universiteit: Nijmegen.

• OCW (2015). OCW Kennisagenda 2015. Ministerie van Onderwijs, Cultuur en Wetenschat.

• OECD (1997). Literacy skills for the knowledge society. Further results from the International Adult Literacy

Survey. Paris: Organisation for Economic Co-orporation and development (OECD).

Bart ten Bosch

Bart ten Bosch (32) is reeds 12 jaar werkzaam in het primair onderwijs. Na het behalen

van zijn hbo-diploma Leraar basisonderwijs (Pabo) heeft hij de Hbo Master Special

Educational Needs, specialisatie kinderen met een verstandelijke en/of lichamelijke

beperking en langdurig zieke kinderen, afgerond. De praktijkgerichte benadering van

beide studies hebben hem voldoende handvatten geboden om zijn onderwijsgevende

taken binnen het onderwijs uit te voeren. Wel miste hij binnen beide studies de

theoretische verdieping. Vanwege zijn interesse in het onderwijs en de wetenschap

heeft hij gekozen voor de Master Evidence Based Innovation in Teaching om zich zo op

academisch niveau verder te kunnen ontplooien. De Mebit heeft zijn interesse in het

academisch veld en de wetenschap alleen maar aangewakkerd. Hij is van mening dat

er nog veel kansen liggen in de samenwerking tussen de wetenschap en het (primair)

onderwijs en hoopt hier in de toekomst een bijdrage aan te kunnen leveren.

bio

grafi

e

3736

Leidt het aanbieden van facultatief huiswerk tot hogere toetscijfers?

Ton van den Broek

Samenvatting

Aangestuurd door het Nederlandse overheidsbeleid moeten instellingen in het

hoger onderwijs een verbetering van het studierendement realiseren. Verbeteren

van het studierendement impliceert het realiseren van betere studieresultaten. Via

een experiment, waarin 247 eerstejaars studenten van de opleiding Verpleegkunde

aan de Hogeschool van de Amsterdam participeerden, is onderzocht of facultatieve

huiswerkopdrachten bijdragen aan het verbeteren van studieprestaties.

Het experiment is volgens ‘de gouden standaard’ uitgevoerd: gerandomiseerde

onderzoeksgroepen, deelnemers die niet op de hoogte waren van de essentie van het

onderzoek, geen cross-overs en een zeer klein risico op contaminatie, vergelijkbare

uitvoeringsomstandigheden, betrouwbare data, kwalitatieve goede toets en een valide

en betrouwbare meting van de resultaten.

Uit de analyses blijkt geen significant en causaal te duiden verschil in de studieresultaten

van controle- en interventiegroep. De belangrijkste conclusie die daaruit volgt is dat het

aanbieden van facultatieve huiswerkopdrachten bij aanvang van het propedeusejaar

niet bijdraagt aan de beoogde rendementsverbetering. Uit regressieanalyse van

studentkenmerken op toetsresultaten bleek vooral het gemiddeld eindexamencijfer van

de vooropleiding een significante voorspeller van studiesucces.

Dit onderzoek is een aanvulling op de bestaande wetenschappelijke literatuur, waar

maar enkele (semi)experimenten naar effecten van huiswerk binnen het hoger onderwijs

gevonden werden. Het merendeel daarvan betrof tweedejaars studenten, geen enkele de

specifieke doelgroep ‘verpleegkunde studenten’. De bevindingen zijn specifiek voor het

Nederlands hoger beroepsonderwijs interessant, omdat bij alle analyses gedifferentieerd

is naar het instroomniveau van de studenten: mbo, havo, vwo.

Aanleiding

Het hoger beroepsonderwijs in Nederland kent een hoog uitvalpercentage in het

eerste studiejaar. In 2012 stonden 93.600 eerstejaars studenten ingeschreven bij een

Nederlandse hbo-opleiding (Ministerie OC&W, 2012). Gemiddeld verlieten 30% van

deze studenten de opleiding in het eerste jaar (Vereniging van Hogescholen, 2014). De

Nederlandse overheid wil het studierendement binnen het hoger onderwijs verbeteren

en maakt daarover prestatieafspraken met hogescholen, onder andere over een toename

van het aantal studenten dat de propedeusefase in één jaar afrondt (Ministerie OC&W,

3938

2011). Om dit te realiseren zullen de studieresultaten van studenten moeten verbeteren,

studenten zullen tijdens het eerste studiejaar meer cursussen moeten afronden met een

eindcijfer groter dan 5,5, zodat een groter aantal studenten aan het einde van het jaar

de 60 studiepunten behaalt en daarmee de propedeusefase afrondt. In het theoretisch

model van Torenbeek, Jansen, en Suhre (2013), Figuur 1, zijn studieresultaten het

resultaat van het aangeboden onderwijs in combinatie met binnen- en buitenschoolse

studieactiviteiten van studenten.

Figuur 1

Theoretisch model beïnvloedende factoren studieresultaat

curriculum aanwezigheid

zelfstudie

studieresultaat

student variabelen

Schematische weergave van variabelen die het studieresultaat beïnvloeden. Vertaald weergegeven uit

“Predicting undergraduates’ academic achievement: The role of the curriculum, time investment and

self-regulated learning” door M. Torenbeek, E. Jansen en C. Suhre, 2013, Studies in Higher Education,

38(9).

Via een gerandomiseerd experiment is, bij startende propedeusestudenten aan de

opleiding Verpleegkunde van de Hogeschool van Amsterdam, onderzocht of er een

causaal verband bestaat tussen het aanbieden van facultatief huiswerk (curriculum),

de studieactiviteiten van studenten (zelfstudie) en de behaalde studieresultaten.

Studentvariabelen waarop gecontroleerd is, zijn het geslacht, het niveau van

vooropleiding en het gemiddeld eindexamencijfer van de vooropleiding.

Toewijzing aan onderzoeksgroepen

De willekeurige toewijzing aan de controle- of de interventiegroep is een belangrijke

voorwaarde om een experiment uit te kunnen voeren. Deze is gerealiseerd door een

exogeen gerandomiseerde toewijzing van studenten aan de controle- of interventiegroep

via blokrandomisatie op woonregio (zie Figuur 2), omdat de evenredige verdeling van

studenten naar woonregio een vereiste was vanuit de opleiding Verpleegkunde in

verband met stageplaatsingen later in het schooljaar. Door een willekeurig toegewezen

getal (via Excel, functie aselect) werden studenten gerankt van laag naar hoog,

vervolgens vanaf de bovenste positie, om en om toegewezen aan de interventie- en de

controlegroep.

Figuur 2

Blokrandomisatie

Propedeuse cohort Verpleegkunde 2014-2015 (n247)

Controlegroep (n120) Interventiegroep (n127)

woonregioNoord-Holland (n81)

Ranking via aselect getal

woonregioA’dam en omstreken (n96)Ranking via aselect getal

woonregioNederland overige (n70)Ranking via aselect getal

De cirkeldiagrammen, Figuur 3, geven een indruk van de vergelijkbaarheid van beide

onderzoeksgroepen bij aanvang en op het einde van het experiment.

Figuur 3

Vergelijkbaarheid van controle- en interventiegroep

na toewijzing, bij aanvang experiment

controlegroep controlegroepinterventiegroep interventiegroep

na uitstroom, op einde experiment

■ MBO ■ VWO ■ HAVO ■ Vooropl. overig ■ Vrouw

De vergelijkbaarheid van beide onderzoeksgroepen is statistisch gecontroleerd via

een tweezijdige onafhankelijke T-test op waarneembare studentkenmerken waarvan

bekend is dat deze studieresultaten beïnvloeden: geslacht, vooropleiding en gemiddeld

eindexamencijfer vooropleiding (Ministerie Onderwijs, Cultuur en Wetenschap, 2011).

Uit deze analyse bleek dat, na de willekeurige toewijzing, de verschillen tussen de

onderzoeksgroepen klein en niet significant zijn. Dit betekent dat er geen vertekening

4140

van interventie-effecten te verwachten is door verschillen tussen controle- en

interventiegroep bij aanvang. Daaruit volgt dan de aanname dat beide groepen,

onder gelijkblijvende condities, in begin- en uitkomstsituatie gelijk zullen zijn. Er zijn

tijdens het experiment geen studenten van de interventie- naar de controlegroep

gegaan en er zijn geen aanwijzingen dat studenten uit de controlegroep toch de

huiswerkopdrachten hebben verkregen. Hieruit volgt de aanname dat de interventie-

effecten zuiver zullen zijn en niet vertroebeld worden door cross-over of contaminatie.

Door uitval, studenten die niet beide toetsen maakten, is aan einde van het experiment,

het verschil tussen beide onderzoeksgroepen in het gemiddeld eindexamencijfer met

0,04 punt toegenomen ten gunste van de interventiegroep. Als de variabele ‘gemiddeld

eindexamencijfer vooropleiding’ een sterke, significante voorspeller blijkt, dan zou dit

het interventie-effect kunnen beïnvloeden ten gunste van de interventiegroep. In de

analyses van het effect van de facultatieve huiswerkopdrachten op studieresultaten is

hierop via regressieanalyse gecontroleerd.

Interventie

Het veronderstelde werkingsmechanisme van de interventie, het aanbieden van 30

facultatieve huiswerkopdrachten, is dat studenten door de opdrachten intrinsiek

gemotiveerd raken, hierdoor de lesstof diepgaand bestuderen, daardoor beter voorbereid

zijn op de toetsen en hogere cijfers halen. De huiswerkopdrachten zijn ontworpen

overeenkomstig de drie criteria die de zelfdeterminatietheorie (Ryan & Deci, 2000)

voorstelt om studenten intrinsiek te motiveren: er is keuzevrijheid, de opdrachten zijn

uitdagend en studenten voelen zich in staat deze te volbrengen. Tabel 1 toont het

verschil in leerondersteuning tussen de controle- en interventiegroep.

Tabel 1

Interventie

Controlegroep Interventiegroep Verschil

Studenten ontvingen na ieder hoorcollege (10x) per e-mail een overzicht van de te bestuderen literatuur.

De studenten ontvingen dezelfde e-mails als de controlegroep en kregen daarbij per keer drie facultatieve huiswerkopdrachten.

De interventiegroep ontving als extra ondersteuning 30 oefenopdrachten.

De interventie- en de controlegroep kregen, gescheiden van elkaar, hetzelfde

onderwijs, door dezelfde docent in dezelfde lesweken. De docent controleerde tijdens

de hoorcolleges niet of studenten de facultatieve huiswerkopdrachten daadwerkelijk

maakten, omdat studenten dan de opdrachten mogelijk zouden gaan maken vanwege

deze extrinsieke motivatieprikkel. Studenten konden tijdens de hoorcolleges wel vragen

stellen naar aanleiding van de huiswerkopdrachten. Er was geen risico op contaminatie

omdat de interventie- en controlegroep het onderwijs volledig gescheiden kregen

aangeboden.

Resultaten

Onderzocht is of er een causaal verband bestaat tussen het aanbieden van facultatief

huiswerk, de studieactiviteiten van studenten en de studieresultaten. Via statistische

analyses werden de volgende vragen beantwoord:

• Wat is het effect van het aanbieden van facultatief huiswerk op de uren zelfstudie en

de toetscijfers?

• Wat is het effect van het uitvoeren van facultatief huiswerk op de uren zelfstudie en

de behaalde toetscijfers?

In Tabel 2 wordt het effect van het aanbieden van facultatief huiswerk, berekend via

regressieanalyse, weergegeven in twee modellen. Het eerste model toont het gemiddeld

interventie-effect, in model 2 wordt dit gecorrigeerd voor de studentkenmerken die van

invloed zijn op het eindcijfer voor de cursus, de uitkomstmaat.

Tabel 2

Regressie interventievariabele en covariaten op gemiddeld eindcijfer

Model 1 Model 2

Partiële Regressie coëfficiënt1 Standaard fout

Partiële Regressie coëfficiënt

Standaard fout

Constante 5,67*** 0,12 - 2,05 1,48

Interventie 0,35 0,18 - 0,14 0,17

GPA2 1,19*** 0,22

Man 0,32 0,27

Mbo - 0,52* 0,30

Vwo 0,55* 0,33

4342

Vooropl. overige 0,12 0,42

R2= 0,00 R2= 0,16

1 Significantie *p ≤ 0,1 | **p ≤ 0,05 | ***p ≤ 0,012 GPA staat voor Grade Point Average, het gemiddeld eindexamencijfer vooropleiding

In model 1 heeft de interventie een positief (0,35) maar niet significant effect op het

eindcijfer. Het model verklaart vrijwel niets van de variantie in eindcijfers, wat blijkt

uit R2= 0,00. De regressiecoëfficiënt ‘Interventie’ in model 1 blijkt beïnvloed te worden

door GPA, zichtbaar in de verandering van deze coëfficiënt in model 1 van +0,35 naar

-0,14, niet significant, in model 2 waar aanbieden van huiswerk juist leidt tot een lager

eindcijfer. Model 2 verklaart meer variantie in eindcijfers. De geschatte coëfficiënt van

GPA( 1,19) betekent dat studenten die 1 punt hoger gemiddeld eindexamencijfer hebben

naar verwachting 1,19 hoger eindcijfer behalen. In vergelijking met de bevindingen

bij tweedejaars universiteitsstudenten, waar GPA-factor 0,48 bleek in de regressie van

gemiddeld eindexamencijfer op bloktoetsresultaten (Ministerie Onderwijs, Cultuur

en Wetenschap, 2011) is de voorspellende waarde van GPA bij de hier bestudeerde

hbo-studenten ruim tweemaal zo groot. Uit de analyse blijkt dat het te verwachten

cijfer voor mbo-studenten 0,52 lager (Sig. 0,09) is ten opzichte van havisten, vwo-

studenten daarentegen scoren 0,55 hoger (Sig. 0,09) dan havisten. De sterk heterogene

categorie ‘Vooropleiding Overige’ heeft geen significante invloed op het eindcijfer.

Het regressiemodel verklaart 16% van de variantie in de eindcijfers, 84% van de

variantie blijft onverklaard. De covariaten ‘interventie’ en ‘geslacht’ zijn niet significant

voorspellend voor het toetscijfer.

Van de mbo’ers en havisten gebruikten 46% het huiswerk tegen 57% vwo’ers. Enige

voorzichtigheid bij de interpretatie is ook hier geboden vanwege het kleine aantal

mbo’ers en vwo’ers, in de controle- en interventiegroep respectievelijk 23-13 mbo-

studenten en 7-7 vwo-studenten. In Tabel 3 wordt inzichtelijk welke associaties er

zijn tussen het uitvoeren van het huiswerk, het aantal uren zelfstudie en het behaalde

studieresultaat.

Deze analyse bevestigt wat eerder gezien of vermoed werd. Geen van de variabelen

associeert significant met het aanbieden van huiswerk. Bij studenten die het huiswerk

daadwerkelijk gebruikten, worden wel zwakke significante associaties gevonden op

10% niveau met Zelfstudie (ZST)-uren 0,20 (Sig. 0,1), eindcijfer -0,21 (Sig. 0,06) en het

behalen van de cursus -0,20 (Sig. 0,08). Het maken van de huiswerkopdrachten heeft

bij deze studenten bij deze toets een kleine negatieve invloed. Als studenten meer

huiswerkopdrachten maakten daalden ze in de ranking van behaalde toetscijfers.

Studenten die meer tijd aan hun studie besteedden stegen dan weer in de ranking van

toetscijfers, maar niet zodanig dat daardoor de cesuurgrens werd overschreden en het

eindcijfer een voldoende is plaats van een onvoldoende.

Tabel 3

Spearman’s rho rangcorrelaties tussen aanbod facultatief huiswerk,

gebruik huiswerkopdracht, uren zelfstudie en behalen van cursus.

Aanbod huiswerk

Gebruik huiswerk

ZST-uren Eindcijfer Behalen cursus

Aanbod huiswerk

1,00 0,01 -0,10 0,02 0,00

Gebruik huiswerk3 1,00 0,20* -0,21* - 0,20*

ZST-uren2 1,0 0,19** 0,09

Eindcijfer 1,00 0,86***

Behalen cursus

1,00

1 Significantie *p ≤ 0,1 | **p ≤ 0,05 | ***p ≤ 0,012 Het gemiddeld aantal uren zelfstudie over gehele periode, ordinale variabele in 4 categorieën.3 Het gemiddeld aantal huiswerkopdrachten dat gemaakt werd, ordinale variabele in 4 categorieën.

Nuancering: Lage power

Er is na afronding van het experiment een poweranalyse uitgevoerd op basis van

berekende effectgroottes en de omvang van de onderzoeksgroepen. Daaruit bleek de

kans dat een bestaand effect ook daadwerkelijk gevonden wordt tussen de 5% en 15%

ligt, afhankelijk van de gekozen onderzoeks(sub)groep. Het risico dat de nulhypothese

ten onrechte niet verworpen wordt is dus groot, waardoor een mogelijk effectieve

onderwijsinterventie niet als zodanig wordt herkend en geïmplementeerd. Om de

voorlopige conclusie dat het aanbieden van facultatieve huiswerkopdrachten geen effect

heeft op studieresultaten te staven of te weerleggen, zou een grootschaliger onderzoek

nodig zijn.

4544

Conclusie

Uit de analyses blijkt geen significant en causaal te duiden verschil in de studieresultaten

van controle- en interventiegroep. De belangrijkste conclusie die daaruit volgt is dat het

aanbieden van facultatieve huiswerkopdrachten bij aanvang van het propedeusejaar in

dit experiment niet tot een rendementsverbetering heeft geleid. Uit regressieanalyse

van studentkenmerken op toetsresultaten bleek vooral het gemiddeld eindexamencijfer

van de vooropleiding een significante voorspeller van studiesucces.

Referenties

• Cartwright, E. & Stepanova, A. (2012). What do students learn from a classroom experiment: Not much,

unless they write a report on it. The Journal of Economic Education, 43(1), 48-57.

• Cooper, H., Robinson, J. C. & Patall, E.A. (2006). Does homework improve academic achievement? A

synthesis of research, 1987–2003. Review of Educational Research, 76(1), 1-62.

• Meeuwisse, M., Wensveen van, P. & Severiens, S. (2011). Deel 3: Tijd om te studeren. een onderzoek naar

tijdbesteding en studiesucces in leeromgevingen. Studiesucces in de bachelor. drie onderzoeken naar

factoren die studiesucces in de bachelor verklaren. Den Haag: Ministerie van Onderwijs, Cultuur en

Wetenschap.

• Ministerie Onderwijs, Cultuur en Wetenschap. (2011). Kwaliteit in verscheidenheid

strategische agenda hoger onderwijs, onderzoek en wetenschap. Den Haag: Ministerie van Onderwijs,

Cultuur en Wetenschap.

• Ministerie Onderwijs, Cultuur en Wetenschap. (2012). Kerncijfers 2008-2012. Den Haag: Ministerie van

Onderwijs, Cultuur en Wetenschap.

• Peters, M., Kethley, B. & Bullington, K. (2002). The relationship between homework and performance in an

introductory operations management course. Journal of Education for Business, 77(6), 340.

• Prosser, M. & Trigwell, K. (1999). Understanding learning and teaching: The experience in higher

education. McGraw-Hill International.

• Radhakrishnan, P., Lam, D. & Ho, G. (2009). Giving university students incentives to do homework improves

their performance. Journal of Instructional Psychology, 36(3), 219-225.

• Rehfeldt, R.A., Walker, B., Garcia, Y., Lovett, S. & Filipiak, S. (2010). A point contingency for homework

submission in the graduate school classroom. Journal of Applied Behavior Analysis, 43(3), 499–502.

• Ryan, R. M. & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social

development, and well-being. American Psychologist, 55(1), 68.

• Torenbeek, M., Suhre, C., Jansen, E. & Bruinsma, M. (2011). Deel 2: Studentfactoren, curriculumopzet

en tijdbesteding als verklaringen. Studiesucces in de bachelor. drie onderzoeken naar factoren die

studiesucces in de bachelor verklaren. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschap.

• Torenbeek, M., Jansen, E. & Suhre, C. (2013). Predicting undergraduates’ academic achievement: The role

of the curriculum, time investment and self-regulated learning. Studies in Higher Education, 38(9), 1393-

1406.

• Vereniging van Hogescholen. (2014). Uitval na 1 jaar (detail). Verkregen 06/25, 2014.Verkregen via http://

cijfers.hbo-raad.nl/index.htm.

4746

Ton van den Broek

Ton van den Broek werkte ruim 10 jaar als hbo verpleegkundige, respectievelijk in de

intramurale geestelijke gezondheidszorg (GGZ), de extramurale gezondheidszorg (MGZ)

en in de algemene intramurale gezondheidszorg (AGZ) zowel in een regionaal als in

een academisch ziekenhuis. Tijdens zijn daarop volgende commerciële carrière bij een

internationaal bedrijf in oplossingen voor fysieke overbelasting in de gezondheidszorg,

verzorgde hij cursussen in binnen- en buitenland. De eerstegraadse lesbevoegdheid

behaalde hij in 2009 en hij is sindsdien verbonden aan de opleiding Verpleegkunde aan

de Hogeschool van Amsterdam, eerst als docent, vervolgens als coördinator van het

eerste en tweede studiejaar en lid van de curriculumcommissie. Per september 2015 zal

hij als didactisch eindverantwoordelijke de leerlijn ‘buitenschools-leren’ gaan aansturen,

dit in lijn met het beoogd promotietraject als vervolg op het succesvol afronden van de

Master Evidence Based Innovation in Teaching (MEBIT) in 2015.

bio

grafi

e

4948

Heeft een andere norm voorhet bindend studieadvies in de propedeuse van het hbo invloedop het studietempo in hettweede jaar?

Willem Brouwer

Samenvatting

Studierendement en studievoortgang is in het hoger onderwijs een hot-item. In een

poging om studieprestaties van studenten te verbeteren heeft de Hogeschool van

Amsterdam (HvA) besloten dat studenten vanaf september 2012 hun studie na de

propedeuse alleen mogen vervolgen als zij in het eerste jaar minimaal 50 studiepunten

halen. Dit bindende advies werd in de jaren hiervoor gegeven als de student minimaal 40

studiepunten had behaald. Onderzocht is of studenten die aan de norm van 50 voldoen

vergelijkbaar zijn met de groep die tussen de 40 en 50 studiepunten haalden voor deze

verhoging. Geconcludeerd kan worden dat studenten uit beide groepen (na correctie)

met ongeveer een gelijk aantal punten starten, maar dat het verschil tussen controle en

interventiegroep snel groeit. Middels regressieanalyses is vastgesteld dat het effect in

ieder geval voor de belangrijkste instroom relevant is (de 18 tot 24 jarige havo en mbo

instroom). Ook is middels interactiecoëfficiënten vastgesteld dat voor de havo/instroom

dit effect minder sterk is dan voor de groep mbo en voor de 17-18-19 jarige groep minder

dan voor de 20-24 jarigen. Een lager studietempo heeft financiële consequenties voor

hogeschool en student. Het lijkt dat deze verhoging tot gevolg heeft dat in de toekomst

de hogeschool zich kan houden aan de prestatieafspraken die met het ministerie zijn

gemaakt.

Aanleiding

In het hoger onderwijs in Nederland wordt sinds de invoering van het Bachelor/Master

systeem in 2002 in de propedeuse een bindend studieadvies (bsa) gehanteerd. Het

hanteren van een bsa-norm is in het hbo verplicht en in het wo facultatief. Studenten

met minder studiepunten dan de bsa-norm in het eerste jaar wordt de toegang tot de

rest van de opleiding ontzegd. Naast de eis van een minimum aantal punten wordt soms

nog als aanvullende eis gesteld welke studieonderdelen zeker moeten zijn behaald. Dit

worden de ‘geoormerkte vakken’ genoemd. Bij de HvA zijn bij de invoering van de hogere

norm geoormerkte vakken afgeschaft.

Op de Hogeschool van Amsterdam was deze norm de afgelopen jaren 40 (van de

maximaal 60 te behalen) punten. Per 1 september 2012 is deze norm verhoogd

naar 50 punten. Strikter selecteren in de propedeuse moet een positief effect op het

studierendement in de hoofdfase hebben. Het achterliggende idee is dat studenten

die in de propedeuse per blok van tien weken meer studiepunten realiseren, dat

daarna blijven doen en dus sneller afstuderen. De vraag is of dit een betere selectie

qua studierendement oplevert. Is de studiesnelheid in de propedeuse wel een goede

5150

voorspeller voor studiesucces in de hoofdfase? Er speelt rond deze tijd vaak meer in

het leven van een student. Vaak wordt het ouderlijk huis verlaten en treden andere

veranderingen op die een (grote) invloed kunnen hebben (verhuizen of gaan studeren

in een andere (‘grote’) stad). Ook komt de student veelal van havo of mbo en laat het

‘schoolse’ karakter van dit onderwijs achter zich. Het hbo kent veel meer vrijheid en is

heel anders ingericht, veelal geen verplichte aanwezigheid en naast kennistoetsen ook

opdrachten, projecten en assessments etc. Dat kan betekenen dat in de eerste periode

niet de maximale hoeveelheid punten wordt behaald en dat hoeft niet alles te zeggen

over de geschiktheid voor het beoogde beroep.

Bekostiging hbo

De bekostiging door de overheid wordt alleen verleend voor de eerste bachelor die

een student doet. Het aantal bekostigde studenten wordt bepaald door het aantal

ingeschreven studenten plus het aantal verleende bachelorgraden met dien verstande

dat een student alleen voor de nominale studieduur (4 jaar) wordt bekostigd. De bijdrage

per bekostigde student ligt niet vast, maar is afhankelijk van het totaal aantal studenten

in Nederland. Het bedrag wordt bepaald door het totale beschikbare budget te delen

door het aantal bekostigde studenten. Elke succesvolle hbo-student levert gedurende

zijn loopbaan dus maximaal vijf keer bekostiging op. Vier keer gedurende de nominale

duur van zijn bachelor en nog één keer bij het behalen van zijn graad.

Daarnaast betaalt de student collegegeld. Dat bedrag wordt door de hogeschool

benut voor de financiering van het onderwijs. Grofweg is het collegegeld een kwart

van het budget per student. Het wettelijk collegegeld is voor het studiejaar 2015-

2016 vastgesteld op 1951 euro. Een van de vragen is wat de consequenties zijn voor de

bekostiging van de HvA, als maatregelen genomen worden om via de bsa studiesucces te

bevorderen.

In de Profiel en Prestatieafspraken die tussen de hogeschool en het ministerie zijn

gemaakt, is over de hoofdfase afgesproken dat de HvA de huidige daling van het

bachelor-rendement (56% in 2012, 54% in 2013) omzet in een stijging (60% in 2015).

Dit betreft voltijd studenten die zich na een jaar herinschrijven, dus geen negatief

bsa hebben, en binnen vijf jaar na de start van de opleiding het diploma behalen.

De HvA heeft er expliciet voor gekozen geen prestatieafspraak te maken over het

propedeuserendement, maar om o.a. middels intakegesprek of assessment uitval en

switch naar een andere opleiding zoveel mogelijk tot het eerste jaar te beperken.

Wat is bekend

Er is veel onderzoek gedaan naar het effect van toelatingstoetsen op studiesucces.

Het resultaat van een voormeting is over het algemeen een goede voorspeller van

studiesucces. Verder zijn er uit Nederland enkele onderzoeken bekend over invoering van

een (fictieve) bsa-norm. Ook deze geven een beter rendement in de hoofdfase.

De relatie tussen een bsa-norm en studiesucces lijkt logisch en blijkt ook uit de literatuur,

betere studenten halen betere resultaten. Hier gaat het echter om een verhoging van

een bestaande norm, de vraag is of het effect dan ook sterker wordt.

De verhoging van de bsa-norm betekent dat een grotere groep studenten niet

langer wordt toegelaten tot het vervolg van de opleiding zonder dat bekend is of

deze ongeschikt zijn voor het toekomstige beroep is. Of dit soort maatschappelijke

consequenties ten volle worden gerealiseerd is een vraag. Deze maatregel is specifiek

voor de HvA, maar ook bij andere instellingen zijn de regels omtrent het bindend

studieadvies de laatste jaren aangepast. Het onderdeel van het bsa dat bij de HvA niet

is veranderd, is de verplichting dat de student twee jaar na aanvang van de studie zijn

propedeuse behaald moet hebben.

Onderzoek/interventie

Het onderzoek richt zich op groeiprofielen om te onderzoeken of de veranderende bsa-

norm impact heeft op prestaties in de verdere studie. Twee cohorten (2010 en 2011) die

onder de oude bsa-norm vallen, zijn vergeleken met cohort 2012 dat onder de nieuwe

bsa-norm valt. Voor dit onderzoek is de groep studenten die onder het oude bsa-regime

tussen de 40 en de 50 punten haalde, vergeleken met de groep die onder het nieuwe

regime meer dan 50 punten behaalde. Het idee was dat de verhoging namelijk niet tot

een betere selectie leidde en deze dus vergelijkbaar zijn. Het onderzoek richt zich op

de vraag of deze beide groepen studenten vergelijkbare resultaten qua studietempo

behalen in het vervolg van hun studie. Dit wordt gemeten door na elk blok het totaal

aantal behaalde studiepunten van beide groepen met elkaar te vergelijken. Op deze

wijze wordt duidelijk wat het gemiddelde groeiprofiel van beide groepen is en hoe

vergelijkbaar deze profielen zijn.

5352

Wat heeft dit onderzoek opgeleverd

Tabel 1

Beschrijvende statistiek controle en interventiegroep

N=2015 Dataset Interventie (1309) Dataset Controle (716)

Havo 793 61% 448 62%

Mbo 401 30% 212 30%

Vwo 74 6% 36 5%

Ovg 39 3% 20 3%

M 753 57% 469 65%

V 556 43% 247 35%

17-18-19 348 27% 253 35%

20-24 593 45% 372 52%

25-29 36 3% 26 4%

30+ of onbekend 5 25% 65 9%

Uit Tabel 1 kan afgeleid worden dat havo en mbo de belangrijkste leverancier zijn en de

leeftijdsgroep van 18 tot 24 het belangrijkst is. Er kon niet vastgesteld worden dat de

groepen op bekende en onbekende kenmerken vergelijkbaar zijn. Achteraf bleek dat er

ten gevolge van een incomplete dataset per ongeluk een subgroep was geselecteerd.

Hierdoor is enige voorzichtigheid geboden bij het interpreteren van de resultaten.

Het onderzoek is uitgevoerd door eerst te corrigeren voor de achterstand die studenten

die tussen de 40 en vijftig punten hadden en met een lagere bsa-norm aan hun studie

begonnen. Deze achterstand bedroeg 10 punten.

Onderzocht is hoeveel punten een student er per blok cumulatief in het tweede jaar er

bij haalt.

Tabel 2

t-test studiepunten blok 6 tot en met 10 met 10 punten compensatie

N=2025Controle

Gem.Standaard afwijking

Interventie Gem.

Standaard afwijking

Verschil seGest.Gem.

Punten t/m blok 5

54,310 2,692 54,915 2,808 0,605 1,287

Punten t/m blok 6

58,958 6,275 58,470 5,496 0,487* 0,268 0,077

Punten t/m blok 7

71,730 10,882 65,225 10,964 6,505*** 0,508 0,597

Punten t/m blok 8

77,717 14,055 68,690 14,749 9,027*** 0,674 0,642

Punten t/m blok 9

89,790 21,755 73,828 20,193 15,962*** 0,965 0,734

Punten t/m blok 10

90,402 22,159 75,551 22,001 14,851*** 1,025 0,670

* p <0,1 | ** p <0,05 | ***p < 0,01

Geconcludeerd kan worden dat het verschil tussen controle- en interventiegroep

snel groeit. De controlegroep presteert significant beter. Middels regressieanalyses is

vastgesteld dat het effect in ieder geval voor de belangrijkste instroom relevant is (de 18

tot 24 jarige havo en mbo instroom). Ook is middels interactiecoëfficiënten vastgesteld

dat voor de havo/instroom dit effect minder sterk is dan voor de (referentie)groep mbo

en voor de 17-18-19 jarige groep minder dan voor de (referentie) 20-24 jarigen.

Aan het eind van het tweede jaar is het verschil weer 15 punten. Van de besproken

beleidswijziging gaat dus een positieve (snelheids)prikkel uit. Dat betekent dat de

verhoging van de bsa-norm, als deze trend zich door zet, leidt tot een gemiddelde kortere

studieduur. Dit zegt echter nog niets over de kans op afstuderen in het algemeen.

De vraag of studenten in dit tempo blijven doorstuderen en of deze studenten

überhaupt afstuderen is ook nog onbeantwoord. Gezien de druk die er op dit moment

politiek ligt op studierendement is dit wel een interessante. Is het wel zo dat trage

studenten een probleem zijn? Als zij in opleiding blijven en hun studie afronden?

Studierendement kan niet alleen uit studietempo worden afgeleid. Als de 15 punten

achterstand uit het tweede jaar geëxtrapoleerd worden over de rest van de opleiding is

de totale vertraging van een trage student 3*15+10=55 punten. Dat betekent dat als dit

lineair geëxtrapoleerd mag worden de ‘trage’ student bijna een jaar later afstudeert. De

financiële gevolgen voor de hogeschool zijn dat er dan een lager bedrag beschikbaar is

voor de uitvoer van één studiejaar.

5554

Tabel 3

financiële consequenties voor de hogeschool

N=13336 Instroom Studie-uitval 1e jaar 30%

Studiejaren Beschikbaar bedrag voor onderwijs per student per jaar. (215 milj. Onderwijs)

40 norm 13336 933596% 4 jaar4% 5 jaar

37713,4 5700

50 norm 13336 9335 100% 4 jaar 37340 5757

Voor de student zijn de financiële gevolgen afhankelijk van de gekozen studierichting. De

startsalarissen verschillen sterk per studierichting.

Tabel 4

financiële consequenties voor de student

Consequenties Student

extra Kosten collegegeld

hoog/laag startsalaris

Jaarinkomen op basis van 12 maanden + 8% vakantietoelage in €

Totale kostenin €

1 jaar vertraagd 1906 Verloskunde 3095 40111,20 49641,20

Gemiddeld 2189 28369,44 37899,44

Beeldende kunst 1395 18079,20 27609,20

Conclusie

Uit dit onderzoek blijkt dat een verhoging van de bsa-norm er voor zorgt dat studenten

die aan deze norm voldoen sneller blijven studeren in het vervolg van hun opleiding.

Gezien een incomplete dataset moet met deze conclusie voorzichtig worden omgegaan.

Referenties

• Arnold, I. (2012). De BSA-norm: minimumeis of streefwaarde? Tijdschrift voor hoger onderwijs nr. 3.

• Bussemaker, M., Gunning, L. (2012). Profiel en Prestatieafspraken Hogeschool van Amsterdam. Hogeschool

van Amsterdam.

• Duijndam, F., Scheepers, A. (2009). Good Practice: BSA aan de EUR. HO.

• Gijbels, D., Van der Rijt, J. & Van de Watering, G. (2004). Het bindend studieadvies in het wetenschappelijk

onderwijs worden de juiste studenten geselecteerd. Tijdschrift voor hoger onderwijs, 22(2).

• Gunning L. (2015). HvA jaarverslag 2013

• Ruis, P. (2007).Checklist Rendement Hoger Onderwijs. ICLON, Universiteit Leiden - Checklist Rendement

Hoger Onderwijs

• Steur, H.G.J. (2010). Met beide benen op de grond. Ministerie van Onderwijs en Wetenschappen.

• Verrijt, T. (2005). Onderzoek studie-uitval RU. Geraadpleegd op 28 mei 2015 van http://www.ru.nl/

oo/@697298/pagina/

5756

Willem Brouwer

Willem Brouwer (1956) is in de periode 1983-2000 in het VO werkzaam geweest en sinds

1984 in het hoger onderwijs. Hij heeft daar gewerkt bij zowel lerarenopleidingen als

Informaticaopleidingen. Hij is actief geweest als leraar wiskunde/natuurkunde/techniek

en Informatica. Sinds 2013 is hij student MEBIT.

bio

grafi

e

5958

Het effect van tussentijds toetsen op studieprestaties

Veronica Bruijns

Samenvatting

Bij de studierichting Commerciële Economie (CE) van de Hogeschool van Amsterdam

is onderzocht of studenten met een tussentijdse summatieve toets beter presteren op

de eindtoets. In tegenstelling tot bevindingen uit de onderzoeksliteratuur behaalden

de studenten uit de interventiegroep een lager gemiddeld cijfer en een lager

slagingspercentage dan studenten uit de controlegroep (uit voorgaande cohorten). Een

mogelijke verklaring hiervoor is het grote aantal toetsen in dezelfde toetsperiode als de

tussentijdse toets, waaronder herkansingen van de propedeuse.

Inleiding

Het percentage studenten dat een opleiding van de Hogeschool van Amsterdam

(HvA) in vier jaar afrondt is met 52,7% (2015) laag. Opleidingsteams zoeken daarom

naar interventies die ervoor kunnen zorgen dat studenten nominaal studeren. De

wetenschappelijke literatuur suggereert dat het sturen van studiegedrag met behulp van

interventies op toetsgebied kan worden ingezet om het studierendement te verhogen.

Zo is volgens Gibbs (2010) toetsing het meest krachtige instrument in het sturen van

het studiegedrag van studenten. Elton en Laurillard (1979) concluderen dat de snelste

manier om het studentgedrag te beïnvloeden, is het toetssysteem te veranderen.

Ervaring leert dat studenten doorgaans laat starten met het voorbereiden op de toets,

vervolgens een onvoldoende behalen en studievertraging oplopen. Met gerichte

interventies op toetsgebied kunnen opleidingen studenten stimuleren om eerder aan

de slag te gaan, meer tijd aan de studie te besteden en zich beter voor te bereiden op

de toetsing. Uit een literatuurstudie van 10 experimentele en quasi experimentele

onderzoeken blijkt dat in 8 van de 10 onderzoeken een significant positief effect is

geconstateerd van tussentijds toetsen op de prestaties op de summatieve toets. Eén

tussentijdse toets blijkt al voldoende te zijn voor een significant positief effect. Bij het

merendeel van de onderzoek was sprake van formatieve tussentijdse toetsing. Omdat

uit de wetenschappelijke literatuur weinig bekend is over het effect van tussentijds

summatief toetsen, is in dit onderzoek gekeken naar het effect van tussentijds

summatief toetsen op studierendement. Op basis van het literatuuronderzoek wordt

de volgende hypothese getoetst: CE studenten van cohort 2013 behalen door de extra

tussentijds summatieve toets een hoger gemiddelde cijfer voor Macro Economie dan CE

studenten uit eerdere cohorten.

6160

Context en onderzoeksvraag

De populatie (N=899) bestaat uit de voltijds bachelor studenten van de opleiding

Commerciële Economie van de hogeschool van Amsterdam in de tweede jaar van

de opleiding. Zij volgen de afstudeerrichting Commerciële Economie (CE) of Sport

Marketing (SPM). De interventie bestaat uit een extra tussentijdse summatieve toets

voor CE studenten bij het vak Macro Economie. De resultaten worden vergeleken

met drie voorafgaande cohorten Commerciële Economie en met een vergelijkbare

studierichting: Sport Marketing. De veronderstelling is dat CE studenten, door het doen

van een summatieve toets na zeven weken - halverwege de cursus - inzicht krijgen in

hun studieprestatie en hun studiegedrag zo nodig kunnen bijstellen. Een onvoldoende

voor de tussentijdse summatieve toets kan nog hersteld worden door een hoog cijfer

op de eindtoets. De afhankelijk variabelen zijn gemiddeld cijfer en slagingspercentage.

De onafhankelijke variabelen zijn: studierichting, cohort, omvang cursusduur, eerdere

prestaties en geslacht.

Het vak Macro Economie wordt in najaar 2014 gelijktijdig aangeboden voor CE en SPM

studenten. Het heeft voor CE studenten een doorlooptijd van 14 weken. Ze krijgen na 7

weken een summatieve toets over de stof van de eerste 7 weken. Na 14 weken volgt voor

hen de tweede summatieve toets over de stof van de afgelopen 7 weken. Het eindcijfers

is het gemiddelde van de twee cijfers en wegen beide even zwaar. SPM studenten volgen

het vak in 7 weken en krijgen één toets aan het eind van de 7 weken over alle stof. De

summatieve tussentijdse toets voor CE studenten en de summatieve eindtoets voor

SPM studenten vinden op hetzelfde moment plaats. CE en SPM studenten die geen

voldoende scoren krijgen een herkansing in de vorm van één summatieve toets. Ook de

CE studenten, die niet hebben deelgenomen aan de tussentijdse summatieve toets, doen

mee aan deze herkansing. Het vak wordt gegeven door drie docenten: één docent geeft

het vak aan alle CE studenten en twee docenten geven het vak aan de SPM studenten. Ze

gebruiken hetzelfde studiemateriaal (syllabus en slides) en dezelfde toets. Het vak wordt

gegeven in de vorm van interactieve hoorcolleges in groepen van 30 studenten, met

wekelijks twee uur college voor CE studenten en vier uur college voor SPM studenten. De

inhoud van het vak is de laatste vijf jaar niet gewijzigd.

Onderzoeksopzet

Omdat het om een summatieve tussentijdse toets gaat, is een experiment met

willekeurige toewijzing niet mogelijk. Bij summatief toetsen moeten alle studenten van

eenzelfde studierichting dezelfde toetsomstandigheden worden aangeboden. Het is ook

niet mogelijk om studenten van een van de andere studierichtingen als controlegroep

te hanteren, omdat de groepen verschillen op achtergrondkenmerken. Als alternatief is

gekozen voor een difference-in difference (dif-in-dif) onderzoeksopzet (Murnane & Willet,

2011). Met deze onderzoekopzet wordt het effect van de interventie gecorrigeerd voor

de tijdstrend van de opeenvolgende cohorten. Deze onderzoeksopzet is weergegeven

onderstaand schema.

Schema 1

Invulling dif-in-dif onderzoeksopzet

First difference: D1

Second difference: D2

Difference-in-difference: D1 - D

2

Studenten CE 2013 versus Studenten CE 2010, 2011, 2012

Studenten cohort SPM 2013 versus Studenten cohorten SPM 2010, 2011 en 2012

First difference: studenten CE 2013 versus eerdere cohorten minussecond difference: studenten cohort 2013 SPM versus studenten SPM eerdere cohorten

In de dif-in-dif onderzoeksopzet gaat het om een samengesteld effect, veroorzaakt door

deze twee verschillen: D1.- D

2. Het eerste verschil is het effect van het behoren tot de

interventiegroep CE cohort 2013. Het tweede verschil is de correctie voor het tijdseffect,

op basis van de resultaten van Sportmarketing. De identificerende aanname van het

tijdseffect is dat we het SPM cohort 2013 kunnen gebruiken om te bepalen hoe het

CE cohort 2013 gepresteerd zou hebben als er geen sprake was van een tussentijdse

summatieve toets. De dif-in-dif schatter is het effect van de interventie bij het CE cohort

2013, minus het effect van de tijdstrend. Om het tijdseffect te kunnen gebruiken als

schatter in de dif-in-dif vergelijking moet sprake zijn van een secular of common trend

in de resultaten voor het vak Macro Economie voor beide studierichtingen. Er mogen

geen significante verschillen zijn bij beide studierichtingen in de ontwikkeling van het

gemiddelde cijfer en slagingspercentage voor Macro Economie van de cohorten 2010,

2011 en 2012. Op basis van regressieanalyse komt naar voren dat zowel het gemiddelde

cijfer als bij het slagingspercentage niet significant verschillen bij de cohorten van beide

studierichtingen.

6362

Bij Commerciële Economie is het slagingspercentage gedaald van 70% (N=198) in 2012

naar 46% (N=99) in 2013. Bij Sport Marketing is, ondanks het lagere gemiddelde cijfer

in 2013 ten opzichte van Commerciële Economie, het slagingspercentage gestegen van

51% (N=95) naar 61% (N=36). Dit is grafisch weergegeven in Figuur 2.

Figuur 2

Slagingspercentage Macro Economie CE (groene lijn) en SPM (blauwe lijn) voor cohort

2010 tot en met 2013

0,9

0,8

0,7

0,6

0,5

0,4

2013201220112010

De regressieanalyse levert een negatieve schatter op voor het slagingspercentage

voor CE studenten van cohort 2013: -1,44 (SE=0,42) en toont aan dat dit lagere

slagingspercentage significant is: p=<0,00. De kans op slagen voor CE studenten is in

2012 gedaald met 15% punt ten opzichte van 2011 en in 2013 gedaald met 24% punt

ten opzichte van 2011. Uit de analyses blijkt dat de interventie heeft geleid tot een

negatieve, niet significante schatter voor het gemiddelde cijfer en een significant lager

slagingspercentage.

Deze resultaten zijn tegengesteld aan de uitkomsten van de literatuurstudie. Nader

onderzoek wees uit dat drie omstandigheden mogelijk van invloed zijn geweest op het

negatieve resultaat: verhuizing naar een andere locatie, planning van de tentamens in

oktober en het aantal gelijktijdige tentamens.

In voorjaar 2014 is de opleiding verhuisd van een modern onderwijsgebouw naar een

kwalitatief mindere locatie, die slechter bereikbaar is met het openbaar vervoer. Dit

heeft geleid tot een lagere opkomst bij de lessen. Deze omstandigheid gold voor beide

studierichtingen en als het een effect heeft gehad op het gemiddelde cijfer en het

slagingspercentage zou dat bij beide studierichtingen aan de orde moeten zijn. Dit

wordt zichtbaar uit het gemiddelde cijfer van alle toetsmomenten in het eerste semester

van 2014. CE studenten van cohort 2012 behaalde in semester 1 – najaar 2013 – een

gemiddeld cijfer van 6,27. Voor cohort 2013 daalt dit gemiddelde in semester 1 – najaar

Resultaten en analyse

In onderstaande tabel zijn de resultaten van de opeenvolgende cohorten weergegeven.

Tabel 1

Gemiddeld cijfer en slagingspercentage Macro Economie cohort 2010 tot en met 2013

Cohort 2010 Cohort 2011 Cohort 2012 Cohort 2013

CE N 125 141 198 99

Gem 6,4 6,4 6,0 5,5

% voldoende 85% 85% 70% 46%

SPM N 99 106 95 38

Gem 5,7 5,8 5,1 5,3

% voldoende 66% 65% 51% 61%

Het gemiddelde cijfer voor Macro Economie voor CE studenten is gedaald van 6,0 voor

cohort 2012 naar 5,5 voor cohort 2013. Dit is grafisch weergegeven in Figuur 1. Dit is

opvallend omdat de verwachting was dat het invoeren van een tussentijdse toets een

positief effect zou hebben op het gemiddelde cijfer en het slagingspercentage.

Het verschil tussen cohort 2013 op het gemiddelde cijfer voor CE studenten ten opzichte

van eerdere cohorten, gecorrigeerd voor de tijdstrend, is -0,45 punt (t=-1,32, p=0,19) en is

niet significant.

Figuur 1

Gemiddeld cijfer Macro Economie CE (groene lijn) en SPM (blauwe lijn)

voor cohort 2010 tot en met 2013.

6,4

6,2

6,0

5,8

5,6

5,4

5,2

5,0

2013201220112010

6564

2014 – naar 6,11. Voor SPM studenten is deze respectievelijk 6,44 en 6,32. Het lagere

gemiddelde cijfer van CE studenten voor Macro Economie past in deze trend, het

gemiddelde cijfer voor Macro Economie voor SPM studenten wijkt af van deze trend.

Een andere omstandigheid die van invloed kan zijn geweest op het lagere gemiddelde

cijfer en lagere slagingspercentage bij CE cohort 2013 is het feit dat in de periode dat

de eerste tussentijdse toets plaatsvond – eind oktober – er ook herkansingen gepland

waren voor studieonderdelen uit de propedeuse. Bij Commerciële Economie heeft 59%

van de studenten deelgenomen aan de eerste tussentijdse toets in oktober. Zij hadden

gemiddeld 57,06 EC (van de 60 EC) behaald voor de propedeuse (N=146, SE=0,30). De CE

studenten die niet hebben deelgenomen hadden gemiddeld 52,44 EC behaald (N=102,

SE=0,43). Uit de t-test komt naar voren dat het verschil tussen deze twee groepen

significant is: t=8,78, p=<0,00. Significant meer studenten met laag aantal EC lijken

prioriteit te hebben gegeven aan de herkansingen van de propedeuseonderdelen, ten

koste van het eerste tussentijdse tentamen voor Macro Economie. Deze omstandigheid

gold echter ook voor SPM studenten. Nog minder studenten dan bij Commerciële

Economie - 36% - van de studenten heeft deelgenomen aan de eerste gelegenheid van

de toets in oktober. Zij hadden gemiddeld 57,66 EC behaald voor de propedeuse (N=38,

SE=0,50). De studenten die niet deelnamen hadden gemiddeld 53,78 EC (N=68, SE=0,61).

Ook bij Sport Marketing is het verschil tussen deze twee groepen significant: t=4,93,

p=<0,00. Er was wel een duidelijk verschil in het aantal gelijktijdig toetsmomenten

voor CE en SPM studenten. Bij Commerciële Economie waren er in de periode van de

tussentijdse toets van Marco Economie 34 toetsmomenten, versus 20 toetsmomenten

bij Sport Marketing. De combinatie van een groot aantal gelijktijdige toetsmomenten

en een relatief hoger percentage deelname kan een mogelijke verklaring voor het lagere

gemiddelde cijfer en slagingspercentage bij Commerciële Economie, ten opzichte van

Sport Marketing.

Bij een positief effect was het voornemen van de opleiding om deze interventie ook

bij andere studieonderdelen in te zetten. De resultaten uit dit onderzoek zijn in dit

opzicht teleurstellend en geven de opleiding vooralsnog geen aanleiding om tussentijds

summatief toetsen ook bij andere studieonderdelen toe te passen. In dit onderzoek was

gekozen voor een summatieve tussentijdse toets. Omdat deze toets meetelt voor het

eindcijfer nodigt hij uit tot strategisch gedrag. Dit is minder aan de orde bij formatieve

tussentijdse toetsing. Formatieve toetsing heeft daarnaast het voordeel dat studenten

meer interesse tonen in hun prestaties. Inhoudelijke en directe feedback op basis

van formatieve toetsing heeft een sterk positief effect op studieprestaties (Hattie &

Timperley, 2007). Om deze redenen is het wellicht effectiever om tussentijdse formatieve

toetsing in te zetten, in plaats van summatieve toetsen. Ook kan geconstateerd worden

dat het optimaal plannen van toetsen binnen en blok of semester, om concurrentie

tussen toetsen tegen te gaan, waarschijnlijk een groter effect kan hebben dan het

invoeren van tussentijdse summatieve toets.

Referenties

• Bangert-Drowns, R.L., Kulik, J.A. & Kulik, C.C. (1991). Effects of frequent classroom testing. The Journal of

Educational Research, 85(2), 89-99.

• Bekkink, M.O., Donders, R., van Muijen, G.N. & Ruiter, D.J. (2012). Challenging medical students with an

interim assessment: A positive effect on formal examination score in a randomized controlled study.

Advances in Health Sciences Education, 17(1), 27-37.

• De Paola, M. & Scoppa, V. (2011). Frequency of examinations and student achievement in a randomized

experiment. Economics of Education Review, 30(6), 1416-1429.

• Cohen-Schotanus. J. (2012). De invloed van het toetsprogramma op studiedoorstroom en

studierendement. In: Berkel, H. van, Jansen, J., Bax, A., Studiesucces bevorderen: het kan en is niet moeilijk.

(65-77)

• Elton, L. & Laurillard, D. (1979). Trends in research on student learning. Studies in Higher Education, 4(1),

87-102.

• Gibbs, G. (2010). Using assessment to support student learning. Leeds: Met Press.

• Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.

• Jansen, E. (2004). The influence of the curriculum organization on study progress in higher education.

Higher Education, 47(4), 411-435.

• Murnane, R.J. & Willet, J.B. (2011). Methods matter: Improving causal inference in educational and social

science research. New York: Oxford University Press.

• Sparzo, F.J., Bennet, D.M. & Rohm, R.A. (1986). College student performance under repeated testing and

cumulative testing conditions: Report on five studies. The Journal of Educational Research, 80(2), 99-104.

6766

Veronica Bruijns

Veronica Bruijns is beleidsmedewerker bij de stafdienst Onderwijs en Onderzoek van de

Hogeschool van Amsterdam. Haar beleidsonderwerp is toetsen en beoordelen en omvat

het hogeschool brede toetsbeleid, het format voor de Onderwijs- en Examenregeling,

scholing en trainingen van docenten op het gebied van toetsbeleid, digitaal toetsen,

beheer van een open access website met alle kennis en materiaal van de HvA over

toetsen en beoordelen (www.score.hva.nl). MEBIT bood haar de gelegenheid zich te

verdiepen in evidence based kennis over het effect van tussentijds toetsen en onderzoek

op dit gebied uit te voeren.

bio

grafi

e

6968

Effecten van een tijdmanagement interventie & de rol van consciëntieusheid, motivatie en studiegedrag bij het deeltijd-hbo propedeuse resultaat

Bart de Haan

Samenvatting

Succesfactoren bij volwassen propedeusestudenten in het HBO deeltijdonderwijs

zijn onderzocht in een empirisch onderzoek onder 187 deelnemers (respons ruim

80%), waarna in een gerandomiseerd experiment (n = 158) de effecten van een

tijdmanagement interventie zijn bestudeerd. De geringe positieve effecten van de

interventie op gemiddeld cijfer, het behalen van de tweede helft van het semester en

uitval kunnen niet op 95% significantieniveau worden aangetoond.

Het beschrijvend onderzoek laat zien dat één op drie deeltijdstudenten een

profiel heeft met een lagere consciëntieusheid in combinatie met minder goede

tijdmanagementvaardigheden en zelfregulatie. De deeltijdstudent met dit profiel

behaalt significant lagere studieprestaties en is minder intrinsiek gemotiveerd voor

de deeltijdopleiding en steekt er dan ook minder tijd in. Ook op studiewaardering,

betrokkenheid bij de onderwijsinstelling en enkele socio-demografische kenmerken,

onderscheidt deze risico student zich significant van de rest. De taaltoets Nederlands

bij de Studiekeuze Check is een belangrijke voorspeller voor gemiddeld einde

semestercijfer. De kans op uitval binnen een half jaar na de start van de opleiding is

groter bij deeltijdstudenten die minder belang hechten aan excellente cijfers en studeren

ten behoeve van hun loopbaan minder belangrijk vinden, bij studenten zonder vast

arbeidscontract en bij studenten die zakken voor het eerste tentamen.

Aanleiding

In 2013 studeerden er in Nederland 50.800 studenten in het deeltijd hbo (Ministerie van

OCW, 2014). Gemiddeld werkt de deeltijdstudent aan de Hogeschool van Amsterdam 36

uur en heeft slechts zeven contacturen per week, die, of op dinsdag- en donderdagavond

zijn, of op zaterdag. De combinatie van werk, sociale verplichtingen en een volle

agenda vereist, meer nog dan van een voltijdstudent, een goed tijdmanagement en

zelfregulerend vermogen. Uit de onderhavige studie is gebleken dat de genoemde

vaardigheden niet bij alle deeltijdstudenten even sterk ontwikkeld zijn. Om de

propedeuse te halen en vervolgens op langere termijn de hoofdfase succesvol te

doorlopen is verbetering hierin gewenst. Deze studie, die bestaat uit een beschrijvend

onderzoek en een effectstudie, beschrijft de motivationele en studiegedrag factoren die

een rol spelen bij studieprestaties en uitval van volwassen deeltijdstudenten in het hoger

beroepsonderwijs en onderzoekt de effecten van een tijdmanagement interventie.

Deeltijdstudenten die besloten hebben om naast hun baan in de avonduren en in het

weekend een deeltijdstudie te volgen, moeten naast voldoende kennis en vaardigheden,

7170

ook beschikken over motivatie, zelfregulatie en zelf-effectiviteit (Zimmerman & Schunk,

2008). Intelligentie is niet voldoende. Even belangrijk zijn persoonlijke eigenschappen,

zoals consciëntieusheid (Chamorro-Premuzic & Furnham, 2003; Poropat, 2009)

en competenties zoals tijdmanagementvaardigheden (Van Eerde, 2003), die de

deeltijdstudent helpen regelmatig en effectief te studeren en de studie succesvol af te

ronden. Op de Hogeschool van Amsterdam is de populatie eerstejaars deeltijdstudenten

Commerce, Finance, Bedrijfskunde MER en Business IT & Management zeer divers in

genoemde kenmerken en daarnaast zijn er grote individuele verschillen in leeftijd, socio-

economische achtergrond en werk gerelateerde variabelen.

Het merendeel van de kennis van factoren die een relatie hebben met studiesucces in

het hoger onderwijs is gebaseerd op studies onder voltijdstudenten. Literatuur over

factoren die bij volwassenen, in hun latere leven, bijdragen aan het studiesucces in

het deeltijdonderwijs is schaars. Volgens Eisenberg, Duckworth, Spinrad & Valiente

(2014) is er erg weinig onderzoek gedaan naar relaties tussen bijvoorbeeld motivatie en

consciëntieusheid in het latere leven. Deze huidige studie zal een bijdrage leveren aan de

kennis van studiesuccesfactoren bij de volwassen (niet-traditionele) deeltijdstudent.

Opzet

In het september 2014 semester is empirisch onderzoek gedaan naar de samenhang

van de relevante factoren met studiesucces en uitval, waarna in het februari 2015

semester een interventie is uitgevoerd op tijdmanagement die eerder in het beschrijvend

onderzoek significant geassocieerd bleek te zijn met studieresultaten. Deelnemers aan

het empirisch onderzoek zijn 187 deeltijdstudenten in vier eerste semesters (Business &

IT Topics, Finance Basics, Inleiding Management & Organisatie en Marketing Basics) van

de opleidingen ICT, Finance, BKM-MER en Commerce. Voor het beschrijvend onderzoek

is vier weken na de start van de opleiding (september 2014) aan de studenten in de klas

gevraagd een schriftelijke vragenlijst ter plekke in te vullen. De respons was ruim 80%.

Halverwege en aan het einde van het semester zijn de cijferresultaten gekoppeld aan de

uitkomsten van de enquête.

Deelnemers aan het experiment zijn propedeusestudenten deeltijd uit elf klassen in

drie economische studies (Finance, Commerce en Bedrijfskunde-MER) en verspreid

over drie eerste semesters (Finance Basics, Inleiding Management & Organisatie en

Marketing Basics) en twee tweede semesters (Financial Management & Management

Accounting, Leidinggeven & HRM). Voor het experimenteel onderzoek is gekozen voor

een posttest design met willekeurige toewijzing. De deelnemers zijn per klas willekeurig

toegewezen aan de controle- en interventiegroep. Aan het einde van het semester is

de deelnemers gevraagd een schriftelijke enquête in te vullen over studiegedrag in

de voorgaande acht weken (blok 4). Studieresultaten zijn verzameld na de dertiende

week uit het studentenadministratiesysteem. Het effect van de interventie is gemeten

op een vijftal afhankelijke variabelen: (1) gemiddeld gewogen totaal cijferresultaat

blok 4, (2) gemiddeld tentamencijfer, (3) herkansingen, (4) uitval en (5) het wel of niet

behaald hebben van blok 4. Het zelf-gerapporteerd studiegedrag is in verband gebracht

met de interventie. Deelnemers die van de controlegroep naar de interventiegroep zijn

overgegaan zijn geïdentificeerd in de enquête met de vraag of de student de interventie

mail doorgestuurd heeft gekregen van een medestudent. Voor de constructen zijn

verschillende gevalideerde instrumenten gebruikt.

Interventie

De interventie in het experimenteel onderzoek is uitgevoerd in de tweede helft

van het februari 2015 semester (blok 4). De interventiegroep heeft in de derde

en vijfde week een e-mail ontvangen met concrete studietips ter verbetering van

tijdmanagement vaardigheden. De studietips, inclusief een overzicht van deadlines en

herkansingsmogelijkheden, waren overzichtelijk gerangschikt in negen aanbevelingen

met verwijzingen naar relevante websites. Het onderwerp was geframed als ‘handige

studietips voor het halen van je semester’. De tweede e-mail was een herinnering van

de eerste. Om de kans op interferentie te verkleinen heeft de controlegroep op hetzelfde

moment een e-mail ontvangen met een algemene tekst. De controlegroep heeft geen

reminder gekregen.

Resultaten

Het empirisch onderzoek laat zien dat ruim één op de drie studenten (36%) een minder

consciëntieus profiel heeft in combinatie met matige tijdmanagementvaardigheden.

Deze groep levert, zoals Tabel 1 laat zien, significant lagere studieprestaties. In de

eerste helft van het semester worden significant minder studiedelen behaald (61,6%

vs. 75,8%), de groep zakt vaker voor het eerste tentamen (48% vs. 28%), resulterend

in een lager gemiddeld cijfer halverwege (53,4 vs. 60,9). Ook aan het einde van het

semester is het cijferbeeld van deze risicogroep minder rooskleurig (52,96 vs. 59,83)

en worden minder studiedelen behaald (69,5% vs. 80,3%). De uitval verschilt overigens

niet significant naar profiel. De risicogroep heeft een lagere waardering voor de stof en

een lagere intrinsieke motivatie. De studie voldoet minder goed aan de verwachting en

7372

de groep voelt zich minder gecommitteerd aan de HvA. Dit uit zich in minder efficiënt

en effectief studiegedrag door een slechtere zelfregulatie, gemiddeld 2,5 uur minder

per week studeren, veel vaker uitstellen en zich vaker laten afleiden door bijvoorbeeld

social media. De studenten zijn vaker moe, geven eerder op als de stof moeilijker, of

minder inspirerend wordt en bestuderen dan alleen de eenvoudigere gedeelten. Het

gaat relatief vaker om autochtone mannen en ze zijn minder tevreden over hun eigen

financiën. Ze hebben zich relatief laat aangemeld (marginaal significant), waardoor ze de

StudieKeuzeCheck pas in augustus hebben gedaan.

Tabel 1

Tijdmanagement/consciëntieusheid profielen en verschillen op studieprestaties,

motivatie, studiegedrag & achtergrondkenmerken

TM & CON laag (n=66)

TM en/of CON hoog (n=116)

Verschil

Gem. (s.d.) Gem. (s.d.) Gem. (s.e.) p

Studieprestaties

Gem. cijfer halverwege 53,43 (20,70) 60,86 (18,11) -7,43 (3,00) 0,014**

1e tentamen behaald 0,52 (0,50) 0,72 (0,45) -0,20 (0,08) 0,012**

% blok 1 behaald 0,62 (0,31) 0,76 (0,28) -0,14 (4,61) 0,002***

Gem gewogen eindcijfer 52,96 (22,09) 59,83 (20,53) -6,87 (3,29) 0,038**

% semester behaald 0,69 (0,32) 0,80 (0,28) -0,11 (4,58) 0,019**

Uitval 0,17 (0,38) 0,17 (0,38) 0,01 (0,06) 0,922

SKC Nederlands voldoende ª 0,26 (0,45) 0,40 (0,49) -0,14 (0,11) 0,240

Studiegedrag & Motivatie

Studie uren 13,97 (6,80) 16,54 (5,89) -2,57 (0,96) 0,008***

Regelmatig aanwezig 0,91 (0,29) 0,98 (0,13) -0,07 (0,04) 0,056*

Intrinsieke motivatie 3,85 (0,51) 4,13 (0,48) -0,27 (0,08) 0,000***

Waardering inhoud semester 3,82 (0,54) 4,26 (0,51) -0,43 (0,08) 0,000***

Studie naar verwachting 0,71 (0,46) 0,88 (0,33) -0,17 (0,06) 0,010***

Zelfregulatie 3,46 (0,44) 3,96 (0,46) -0,50 (0,07) 0,000***

Afleidingen social media 2,98 (1,00) 3,58 (1,00) -0,59 (0,16) 0,000***

Vaak uitstellen 0,82 (0,39) 0,30 (0,46) 0,51 (0,06) 0,000***

Aanmelding SKC augustus ª 0,39 (0,50) 0,21 (0,41) 0,18 (0,11) 0,100*

Commitment HvA 3,86 (0,54) 4,12 (0,53) -0,25 (0,08) 0,002***

Socio-demografisch

Man 0,85 (0,36) 0,65 (0,48) 0,20 (0,06) 0,002***

Financiële tevredenheid 0,52 (0,50) 0,69 (0,47) -0,17 (0,08) 0,025**

Autochtoon 0,77 (0,42) 0,63 (0,48) 0,14 (0,07) 0,047**

Werk & Arbeid

Beroep raakvlakken studie 0,53 (0,50) 0,63 (0,48) -0,11 (0,08) 0,161

Werkloos 0,09 (0,29) 0,05 (0,22) 0,04 (0,04) 0,350

Opleiding

Commerce 0,08 (0,27) 0,22 (0,42) -0,15 (0,05) 0,004***

ICT 0,49 (0,50) 0,34 (0,48) 0,14 (0,08) 0,063*

Finance 0,17 (0,38) 0,15 (0,36) 0,02 (0,06) 0,719

BKM-HRM 0,27 (0,45) 0,28 (0,45) -0,01 (0,07) 0,865

ª n=23 | resp. n=58 (excl. ICT) | * p<0,10 | ** p<0,05 | *** p<0,01

Studie uitval blijkt in het empirisch onderzoek geassocieerd te zijn met een aantal

factoren. Tabel 2 laat zien dat deeltijdstudenten die het belang van excellente cijfers

en studeren ten behoeve van de carrière minder sterk onderschrijven en studenten

met een flexibel arbeidscontract, significant meer kans maken om uit te vallen. Verder

zijn meer studie uren in het eerste kwart van het semester en het zakken voor het

eerste tentamen, significante voorspellers van vroegtijdig uitschrijven. Binding met de

opleiding en een mbo/hbo vooropleiding zijn marginaal significant.

Tabel 2

Resultaten binair logistisch regressiemodel met voorspellers van afhankelijke

variabele uitval

Model 1 Model 2

β (s.e.) p β (s.e.) p Exp(β)

Constante -1,89 (0,48) 0,000 11,21 (3,92) 0,004***

Opleiding ICT 0,65 (0,57) 0,261 0,17 (0,77) 0,830 1,18

Opleiding BKM-HRM -0,08 (0,65) 0,899 -0,40 (0,91) 0,662 0,67

Excellentie nastreven (EM2) -0,91 (0,45) 0,044** 0,40

Belang carrière (EM3) -1,00 (0,46) 0,028** 0,37

Commitment -1,07 (0,63) 0,089* 0,35

Aantal studie uren 0,16 (0,05) 0,002*** 1,18

7574

Leeftijd -0,07 (0,06) 0,235 0,93

Havo/vwo/univ./21+ (0=mbo/hbo) -1,17 (0,84) 0,165 0,31

Vast arbeidscontract (0=nee) -1,35 (0,69) 0,050** 0,26

Beroep matcht studie (0=nee) -0,92 (0,62) 0,137 0,40

Studiekeuze met werkgever (0=nee) -0,15 (0,62) 0,810 0,86

1e tentamen behaald (0=nee) -2,25 (0,73) 0,002*** 0,11

n=145, 42 missing | afhankelijke variabele = retentie (0) | uitval (1)

* p<0,10 | ** p<0,05 | *** p<0,01 | Kenmerken Model B: χ² = 50,1 | df = 12 | p = 0,000

Cox & Snell R² = 0,292 | Nagelkerke R² = 0,493 | Hosmer & Lemeshow p = 0,163

De evaluatie van het effect van de interventie wijst uit dat de studieprestaties van de

interventiegroep iets beter zijn dan die van de controlegroep, maar t-testen wijzen uit

dat de verschillen in gemiddeld gewogen cijfer blok 4, gemiddeld tentamencijfer blok

4, het behalen van het blok en de uitval niet significant zijn. De interventiegroep heeft

vaker een herkansing, maar ook dit verschil is niet significant. Tabel 3 verdiept deze

analyse met een multivariate regressie. De tabel laat een effect van de interventie op

gemiddeld gewogen cijfer zien van 3,05 punt (op een schaal van honderd), met een

standaardfout van 4,43. Omdat, ondanks randomisatie, relatief de grootste onbalans

tussen de interventie- en controlegroep gemeten is in de variabelen opleiding BKM, HRM

en leeftijd, wordt in model 2 voor deze covariaten én voor spillover gecorrigeerd. Het

effect van de interventie wordt wat sterker met een bèta van 3,68 en een standaardfout

van 4,54, maar is niet significant. Het 95% betrouwbaarheidsinterval van β = 3,68 is

-5,30 tot 12,66. De Cohen’s D van de coëfficiënt in model 1 heeft een waarde van 0,11 en

kan geclassificeerd worden als klein (< 0,2). Een dergelijke effectgrootte kan pas bij een

steekproef van n = 2.646 (1.323 in iedere groep), met een betrouwbaarheid van 95% en n

power van 0,80 geregistreerd worden.

Dit onderzoek heeft een aantal bruikbare voorspellers van het gemiddeld cijfer en de

uitval bij de volwassen deeltijdstudent opgeleverd. Vervolgonderzoek moet uitwijzen

of de indicatoren en het risicoprofiel gemeten bij de start van de opleiding, ook

geassocieerd zijn met lange termijn uitkomsten (behalen propedeuse en einddiploma).

De tijdmanagement interventie, waarvan het geringe positieve effect in deze studie niet

kon worden aangetoond, zal in een vervolgonderzoek bij meer studenten en frequenter,

zowel klassikaal als digitaal, onder de aandacht moeten worden gebracht.

Tabel 3

Experiment, regressie resultaat: effect interventie op afhankelijke variabele ‘gem.

gewogen cijfer blok4’

Model 1 Model 2

β (s.e.) p β (s.e.) p

Constante 54,82 (3,08) 0,000 41,56 (9,54) 0,000

Interventie 3,05 (4,43) 0,491 3,68 (4,54) 0,419

Spillover 5,49 (11,98) 0,648

BKM -4,02 (5,22) 0,442

HRM -0,43 (5,67) 0,940

Leeftijd 0,49 (0,30) 0,103

n = 158 | R = 0,191 | R² = 0,037 | * p<0,10 | ** p<0,05 | *** p<0,01

Referenties

• Chamorro-Premuzic, T. & Furnham, A. (2003). Personality predicts academic performance: Evidence from

two longitudinal university samples. Journal of Research in Personality. 08/2003.

• Eisenberg, N., Duckworth, A.L., Spinrad, T.L. & Valiente, C. (2014). Conscientiousness, Origins in childhood?

Dev Psychol. 2014 May; 50(5), 1331-49. Ministerie van OCW (2014). Kerncijfers 2009-2013 onderwijs,

cultuur en wetenschap.

• Poropat, A.E. (2009). Personality and academic performance meta-analysis. A Meta-Analysis of the

Five-Factor Model of Personality and Academic Performance. Griffith University Nathan, Australia.

Psychological Bulletin, Vol 135(2), Mar 2009, 322-338

• Van Eerde, W. (2003). A meta-analytically derived nomological network of procrastination. Personality and

individual differences, Vol 35(6), 1401-1418

• Zimmerman, B.J. & Schunk, D.H. (2008). Motivation: An essential dimension of self-regulated learning.

In D. H. Schunk & B. J. Zimmerman (Eds.), Motivation and self-regulated learning: Theory, research, and

applications (pp. 1–30). Mahwah, NJ: Lawrence Erlbaum Associates

verder lezen:

Effecten van onderwijsinterventies / tijdmanagement:

• Häfner, A. & Stock, A. (2010). Time Management Training and Perceived Control of Time at Work. Journal of

Psychology 144: 429–447.

• Robbins, S.B., Oh, I.S., Le, H. & Button, C. (2009). Intervention Effects on College Performance and Retention

as Mediated by Motivational, Emotional, and Social Control Factors: Integrated Meta-Analytic Path

Analyses. Journal of Applied Psychology, Vol 94(5), Sep 2009, 1163-1184.

7776

• Waack, S. (z.d.). Hattie Ranking: Influences And Effect Sizes Related To Student Achievement. Geraadpleegd

op 10 juli 2015 van http://visible-learning.org/hattie-ranking-influences-effect-sizes-learning-

achievement/.

Uitval bij niet-traditionele studenten:

• Bean, J. P. & Metzner, B. S. (1985). A Conceptual Model of Nontraditional Undergraduate Student Attrition.

Review of educational research. Winter 1985 Vol 55(4), 485-540.

Persoonlijkheid / Consciëntieusheid:

• Chamorro-Premuzic, T. & Furnham, A. (2003). Personality predicts academic performance: Evidence from

two longitudinal university samples. Journal of Research in Personality (Impact Factor: 2). 08/2003.

• De Vries, A., Van den Berg, R., Born, M. & De Vries, R. (2014). Consciëntieusheid en Integriteit als

voorspellers van studieprestaties en contraproductief studiegedrag. ResearchGate.

• Eisenberg, N., Duckworth, A.L., Spinrad, T.L. & Valiente, C. (2014). Conscientiousness, Origins in childhood?

Dev Psychol. 2014 May; 50(5), 1331-49. Epub 2012 Dec 17.

• Lievens, F., Ones, D.S. & Dilchert S. (2009). Personality scale validities increase throughout medical school.

Journal of Applied Psychology, 94(6), 1514–1535.

• Luciano, M., Wainwright, M.A., Wright, M.J. & Martin, N.G. (2006). The heritability of conscientiousness

facets and their relationship to IQ and academic achievement. Personality and Individual Differences.

2006; 40, 1189–1199.

• O‘Connor, M.C. & Paunonen, S.V. (2007). Big Five personality predictors of post-secondary academic

performance. Personality and Individual Differences. October 2007, Vol 43( 5), 971–990.

Motivatie en studieprestaties:

• Goodman S., Jaffer T., Keresztesi M., Mamdani F., Mokgatle D., Musariri M., Pires J. & Schlechter A. (2011).

An investigation of the relationship between students’ motivation and academic performance as

mediated by effort. South African Journal of Psychology, 41(3), 2011, pp 373 – 385.

• Ryan, R.M. & Deci, E.L. (2000). Intrinsic and extrinsic motivations: Classic definitions and new directions.

Contemporary Educational Psychology, 25, 54–6

Bart de Haan

Bart Cornelis de Haan is sinds 2008 docent marktonderzoek aan de Hogeschool

van Amsterdam, Domein Economie & Management, CE-Deeltijd. In 2007 heeft hij

een tweedegraads lesbevoegdheid bedrijfseconomie gehaald aan de Hogeschool

van Amsterdam. Daarvoor werkte hij zes jaar bij de ING Bank in diverse functies

(communicatiemanager, projectmanager en handelaar op de securities lendingdesk) en

drie jaar als kwantitatief marktonderzoeker bij Motivaction / ITM Research.

bio

grafi

e

7978

Differentiatie-mix voor de les Nederlands

Het effect van flexibel groeperen in combinatie met een digitaal differentiërend tutorprogramma op taalvaardigheid van onderbouwleerlingen in het vmbo

Romy Keulen-Tummers

Samenvatting

Dit onderzoek test een mix van didactische elementen voor meer

differentiatiemogelijkheden in de les. Gedurende zes lesweken in het laatste trimester

van het schooljaar 2013/2014 namen in totaal 148 leerlingen uit leerjaar 1 en 2 van

de Basis en Kaderberoepsgerichte Leerwegen van het DaCapo College te Sittard deel

aan een interventie die bestond uit parallelle sessies van geïntensiveerde instructie en

geïndividualiseerde oefening in flexibele (homogene en heterogene) deelgroepen op

de taalvaardigheid van verschillende (voldoende en onvoldoende) lezers in de lessen

Nederlands. De resultaten tonen aan dat de interventie niet tot significantie effecten

leidt, maar dat een goed gedoseerde mix wel kan bijdragen aan de kans op het behalen

van het gewenste referentieniveau en aan het terugdringen van de ervaren werkdruk

van docenten. De differentiërende waarde ligt in de combinatie van factoren. Succes

wordt geboekt in de combinatie van ingrediënten, hoeveelheden en de bereidingswijze

(methode).

Achtergrond

Een goede leesvaardigheid heeft directe invloed op het zelfstandig verwerven van kennis

en het al dan niet behalen van een diploma en op sociale redzaamheid. Daarom is het

een belangrijke voorwaarde voor schoolsucces en een onmisbare basisvaardigheid

voor het functioneren in de maatschappij (Hacquebord, 2007; Schijf, 2009; Stichting

Lezen & ITTA, 2014). Het is dus van groot belang dat scholen een goede taalvaardigheid

bij hun leerlingen ontwikkelen. De daartoe in 2010 van kracht geworden wet

‘Referentieniveaus Nederlandse taal en rekenen’ geeft in vier niveaus aan wat leerlingen

op de overstapmomenten in de schoolloopbaan moeten kennen en kunnen. Het grootste

deel van de 23% leerlingen die op het eind van de basisschool niet het gewenst niveau

(1F) halen, komen in het vmbo terecht waar ze dus met een achterstand beginnen (CvE,

2014). Onderzoek op nationaal niveau toont aan dat dit 24% van vmbo-leerlingen betreft

(Hacquebord, 2007; Schijf, 2009). Omdat taalachterstanden die in de brugklas nog

gecompenseerd kunnen worden op een later moment in de schoolloopbaan wellicht niet

meer te compenseren zijn, is het belangrijk om taalproblemen vroegtijdig te signaleren

en te ondersteunen (Hacquebord, 2007). Aanpassing van de didactiek (differentiatie)

op de specifieke behoeftes van verschillende lezers zou eraan kunnen bijdragen om het

gewenste niveau toch te behalen (Hacquebord, 2007; Schijf, 2009). In de praktijk legt

dit extra druk op leraren omdat de diversiteit in behoeften en talenten van leerlingen in

combinatie met de klassengroottes differentiatie bemoeilijkt (VO-raad & OCW, 2014).

Omdat onderzoek aantoont dat één didactische werkvorm voor alle leerlingen niet

8180

even effectief kan zijn als meerdere interventies tezamen (Duke, Pearson, Strachan &

Billman, 2011; Tieso, 2010) zoeken scholen oplossingen in het mixen van didactische

werkvormen, bijvoorbeeld met mogelijkheden die ICT biedt. In de praktijk betekent dat

bijvoorbeeld het combineren van flexibel groeperen, afwisselend frontaal klassikaal

lesgeven en extra gedifferentieerde instructie in verkleinde groepen om met de minste

negatieve effecten tegemoet te komen aan de behoeftes van alle leerlingen. Lesgeven

lijkt wat dat betreft op koken: de ingrediënten zijn bekend, maar het succes wordt

geboekt in de combinatie, juiste hoeveelheden en de bereidingswijze (methode). Een

kant-en-klaar recept voor succesvolle differentiatie ontbreekt echter. Omdat een goed

recept kan bijdragen aan de kans op het behalen van het gewenste referentieniveau

wordt binnen dit onderzoek een mix getest om dat te bereiken.

Onderzoeksdoel en onderzoeksvraag

Doel van dit onderzoek is het samenstellen en onderzoeken van een mix van

verschillende methodes voor differentiatie zodat docenten in de les beter kunnen

aansluiten op de verschillen tussen individuele leerlingen en hen meer kans te bieden

op het behalen van het gewenste referentieniveau voor taal. Daarvoor werd de volgende

onderzoeksvraag gevormd: Wat is het effect van flexibel groeperen in combinatie met een

digitaal tutorprogramma op de taalvaardigheid van onderbouwleerlingen in de Basis- en

Kaderberoepsgerichte leerwegen van het vmbo? Verder wil dit onderzoek een bijdrage

leveren aan de cultuuromslag binnen school naar een meer evidence based benadering

van het onderwijs door onderwijspraktijk en wetenschappelijk onderzoek bij elkaar te

brengen voor verbetering van de onderwijspraktijk op de werkvloer.

Interventie

De interventie bestond uit een mix van differentiërende werkvormen binnen de lessen

Nederlands. De steekproef betrof in totaal 148 onderbouwleerlingen, waarvan 65

leerlingen van leerjaar 1 en 83 leerlingen in leerjaar 2. De interventiegroepen kregen

per week één traditionele klassikale les en één klassikale ICT-les (brugklasleerlingen).

De overige twee lessen werden gevormd door parallelle sessies van geïntensiveerde

instructie door de docent en geïndividualiseerde digitale oefening. Om dit intern

mogelijk te maken werden de groepen flexibel gegroepeerd en werd gebruik gemaakt

van een digitaal tutorprogramma (zie Figuur 1).

Figuur 1

Indeling subgroepen voor de interventielessen

klassikaleles

les 1

leerjaar 1

leerjaar 2

les 4les 2 les 3

docentinstructie

digitaletaken

flexibel groeperen digitaal tutorprogramma

differentiatie-mix

digitaletaken

docentinstructie

klassikaleICT les

De mix van zowel klassikale, gegroepeerde en individuele instructie draagt in zich

de potentie een effectief antwoord op de verschillende behoeften van leerlingen te

bieden (Bosker, 2005). Zwak presterende leerlingen worden binnen de klassikale lessen

uitgedaagd de gestelde doelen te halen (Gentry & Owen, 1999). Binnen de deelgroepen

krijgen zij van de leraar instructie die aansluit bij hun behoeften (Vernooy, 2007). De

sterkere leerlingen kunnen binnen de deelgroepen verbreding/verdieping aangeboden

krijgen. De invulling van de ‘instructie-les docent’ bestond uit meer intensieve

begeleiding en uitleg van de opdrachten waarbij de docent gebruik kon maken van de

(voortgangs-)gegevens van het digitale oefenprogramma. Voor de les ‘digitale taken’

werd gebruik gemaakt van een online, digitaal oefenprogramma voor taal (Muiswerk).

De inzet hiervan wordt gezien als faciliterende en ondersteunende werkvorm. Doordat

leerlingen zelfstandig kunnen werken kan de docent een kleinere groep intensief

gedifferentieerde instructie bieden terwijl zwakkere lezers extra kunnen oefenen en

de sterkere lezers gelegenheid hebben om (vooruit) te werken aan geïndividualiseerde

taken. De controlegroepen kregen net als de interventiegroepen drie lessen, voor de

eerstejaars leerlingen aangevuld met één ICT-les. De lessen werden gegeven op de

traditionele manier, klassikaal en docent-gestuurd. Instructie werd klassikaal gegeven en

praktische opdrachten waren voornamelijk individueel gericht en bepaald op basis van

de toetsscores en de vorderingen in de les. Differentiatie en begeleiding werd door de

docent geboden binnen de lessen en in klassenverband, bijvoorbeeld herhaalde uitleg

aan individuele leerlingen terwijl andere leerlingen zelfstandig werkten.

8382

Onderzoeksopzet

Deze studie is vormgegeven door middel van randomisatie op klasniveau, volgens

de bestaande klassenindeling per leerjaar. Daarbij werd gebruik gemaakt van een

interventiegroep, controlegroep en een voormeting en nameting. De deelnemende

docenten gaven les aan zowel de 8 interventieklassen als de 8 controlegroep-klassen.

De onderzoekspopulatie bestaat uit de onderbouwleerlingen van de 8 reguliere klassen

van de Basisberoepsgerichte leerweg (BB) of Kaderberoepsgerichte leerweg (KB) van

het DaCapo College, locatie Rijksweg Zuid. Kenmerken van de leerlingen zijn verkregen

uit het Leerlingvolgsysteem (LVS Magister) en mondelinge navraag. Het effect van de

interventie wordt gemeten op de Rapportcijfers en op de scores van een diagnostische

toets voor tekstbegrip, namelijk de Muiswerktoets. In de voormeting en in de nameting

wordt dezelfde toets herhaald. Voordeel daarvan is dat de voortgang op het gebied

van Nederlandse taal zuiver gemeten kan worden. Nadeel is dat er een leereffect

(herkenning) kan optreden. Dit geldt echter voor zowel de interventiegroep als voor de

controlegroep.

Indeling in groepen

Voor uitvoering van de interventie werd elke klas die aan de interventie is toegewezen in

twee deelgroepen verdeeld aan de hand van de toets-score, die aangeeft op welk niveau

leerlingen presteren. Leerlingen die onder het door school gewenste niveau presteren

(voor de onderbouw < 1F) werden toegewezen aan deelgroep 1, leerlingen met een

score boven het gewenste niveau (1S of 2F) werden allen toegewezen aan deelgroep 2.

De leerlingen die scoorden op het door school gewenst niveau (1F), werden willekeurig

verdeeld over a of b, of ze vormen een eigen deelgroep. Van daaruit werden binnen

de interventiegroep uiteindelijk 8 deelgroepen gevormd; 5 heterogeen (gemengde

samenstelling in niveau) en 3 homogeen van samenstelling, variërend van 6 tot en met

18 leerlingen.

Om de effecten van de interventie op de leerlingen in de verschillende deelgroepen

met elkaar te kunnen vergelijken zijn de leerlingen van de controlegroep op eenzelfde

wijze aan 8 deelgroepen toegewezen, waarvan eveneens 3 homogeen en 5 heterogeen.

Deze indeling heeft enkel op papier plaatsgevonden voor analyse, tijdens de

interventieperiode hebben de leerlingen van de controlegroep enkel in klassenverband

(dus niet in deelgroepen) les gehad.

Methode

In de analyse wordt geprobeerd antwoord te geven op de onderzoeksvraag door een

drietal analyses waarbij de focus gelegd wordt op het effect van de totale interventie (de

mix van werkvormen) op de totale onderzoekspopulatie. Daarnaast wordt getracht de

invloed en effecten van afzonderlijke ‘ingrediënten’ (flexibel groeperen) te onderscheiden

en de effecten op verschillende lezers (voldoende en onvoldoende lezers) te bepalen

binnen de totale onderzoekspopulatie en binnen de interventiegroep. De vergelijking

wordt gedaan door middel van een meervoudige regressieanalyse waarbij middels

een interactieterm gekeken wordt naar differentiërende effecten in verschillende

deelgroepen en voor voldoende en onvoldoende lezers. Daarbij werd getoetst op

variabelen waarvan de literatuur mogelijke invloeden beschrijft, te weten rapport 2,

totaalscore voormeting, geslacht, leeftijd, moedertaal, leerjaar, leerweg, LWOO-indicatie,

dyslexie, deelgroep, voldoende lezer en docent.

Resultaten

De resultaten laten na correctie op de controlevariabelen zien dat deelname aan de

interventie leidt tot een kleine, maar niet significante toename in prestatie op beide

uitkomstmaten. Leerlingen met een hogere leeftijd scoren gemiddeld lager, zowel op

het rapportcijfer als op de toetsscore. Deelname aan de interventie in een homogene

deelgroep leidt tot positievere effecten dan deelname aan de interventie in een

heterogene deelgroep of geen deelname aan de interventie. Voor leerlingen die al bij de

start van het experiment het basisniveau haalden (‘voldoende lezers’) leidt deelname

aan de interventie tot een niet significant negatief effect. Hun resultaten zijn wel

beter dan de resultaten van onvoldoende lezende deelnemers, zij het niet significant.

Leerlingen met dyslexie hebben een hoger rapportcijfer, maar een lagere score op de

toets. Leerjaar en Leerweg blijken voor het rapportcijfer een significante, maar voor

toetsscore niet significante voorspeller voor een negatief verband. Voor leeftijd geldt

het tegenovergestelde. Dit mag opgevat worden als een indicatie dat de afzonderlijke

ingrediënten verschillende differentiërende effecten hebben op verschillende leerlingen.

Dit wordt versterkt door de invloed van de docent. Bij de ene docent blijkt vooruitgang in

rapportcijfers, maar achteruitgang in toetsscores, bij de ander is dit net andersom.

8584

Conclusie en discussie

Deelname aan de interventie leidt niet tot significantie effecten, maar de resultaten

laten ook geen negatieve lijn zien. Op basis daarvan kan geconcludeerd worden dat deze

mix geschikt is om binnen de bestaande kaders in te zetten in de lessen Nederlands in

de onderbouw van het vmbo zonder dat de werkdruk toeneemt of de onderwijskwaliteit

daaronder lijdt. Binnen dit onderzoek namen de meeste onvoldoende lezers in een

homogene deelgroep deel aan de interventie waarbij zij evenveel individuele oefentijd

ondergingen dan voldoende lezers in de heterogene deelgroepen. Aanpassing van de

frequentie en/of indeling in groepen zou kunnen leiden tot andere effecten. Dit zou

in verder onderzoek nader onderzocht moeten worden. Lesgeven lijkt wat dat betreft

inderdaad op koken: het succes wordt geboekt in de combinatie van ingrediënten,

hoeveelheden en de bereidingswijze (methode), maar een goed recept alleen is niet

voldoende, het uiteindelijke resultaat is ook afhankelijk van de smaak van de leerlingen

en de docent. Een panklaar recept voor differentiatie met succesgarantie in alle

omstandigheden zal niet realistisch zijn. De resultaten van dit onderzoek suggereren

dat een goed gedoseerde mix wel kan bijdragen aan de kans op het behalen van het

gewenste referentieniveau en aan het terugdringen van de ervaren druk zodat de

meerwaarde van docenten optimaal tot zijn recht kan komen.

Dit onderzoek laat evenwel zien dat de gehanteerde aanpakken mogelijkheden bieden,

maar op basis van de opgedane ervaringen nog verder moeten worden onderzocht

en ontwikkeld. De precieze effecten van de afzonderlijke ingrediënten zijn op basis

van dit onderzoek moeilijk eenduidig aan te wijzen, verder onderzoek zou hierin meer

duidelijkheid kunnen brengen. Een verklaring voor het uitblijven van grotere effecten kan

gezocht worden in een designfout in de interventie dat effecten op de toetsresultaten

negatief beïnvloed kunnen zijn doordat de toets en de oefeningen niet digitaal

gekoppeld waren waardoor de gekozen oefeningen mogelijk niet goed aansloten op

de uitkomsten van de toets. Daarbij blijkt uit dit onderzoek dat een bewijs gedreven

werkwijze het mogelijk maakt om, aangepast op individuele onderwijspraktijken

en rekening houdend met de wensen en ervaringen van docenten uit de praktijk,

het onderwijs effectief te verbeteren binnen bestaande kaders. Hieruit vloeit een

aanbeveling voort voor onderwijsbeleid om deze werkwijze in de toekomst, samen met

docenten meer in te zetten bij innovaties.

Referenties

• Bosker, R. (2005) De grenzen van gedifferentieerd onderwijs. Groningen: Rijksuniversiteit Groningen

• CvE, (2014). Tussenrapportage centraal ontwikkelde examens mbo en Rekentoets VO, 2013-2014 |

Invoering centrale toetsing en examinering referentieniveaus Nederlandse taal en rekenen. Verkregen

viahttp://www.rijksoverheid.nl/documenten-en-publicaties/rapporten

• Duke, N.K., Pearson, P.D., Strachan, S.L. & Billman, A.K. (2011). Essential elements of fostering and teaching

reading comprehension. In Samuels, S.J. & Farstrup, A.E. (eds.), What research has to say about reading

instruction (4th ed.), p. 51- 93. Newark, DE: International Reading Association. Verkregen via http://

scienceandliteracy.org

• Hacquebord, H. (2007). De leesvaardigheid van vmbo-leerlingen. In: Lezen in het vmbo, onderzoek -

interventie – praktijk., Schram, D. (red) Ebubron, Delft

• Schijf, G.M. (2009). Lees- en spellingsvaardigheden van brugklassers. Dissertatie Universiteit van

Amsterdam. Amsterdam: SCO-Kohnstamm Instituut

• Stichting Lezen en ITTA (2014). Leesbevordering en leesvaardigheid in het vmbo: noodzaak en kansen.

Amsterdam: Stichting Lezen

• Vernooy, K. (2007). Effectief leesonderwijs nader bekeken. Technisch Lezen, Woordenschat en

leesstrategieën. Verkregen via http://masterplandyslexie.nl/public/files/documenten

• VO-raad & OCW (2014). Klaar voor de toekomst! Samen werken aan onderwijskwaliteit. Sectorakkoord VO

2014-2017. Verkregen van http://www.vo-raad.nl/ /Sectorakkoord-VO-OCW.pdf

8786

Romy Keulen-Tummers

Romy Keulen-Tummers (1974) begon haar werk in het onderwijs als docent in de

Beeldende vakken. In 2010 behaalde zij haar Master SEN voor leerlingbegeleiding/

loopbaanbegeleiding, waarna ze naast het docentschap meerdere jaren de functie van

decaan in de bovenbouw van het vmbo vervulde. Vanuit een passie voor het onderwijs

is haar streven om het onderwijs vanuit de praktijk te verbeteren met een hogere

kwaliteit van het onderwijs als doel. Daarin hebben leerling, loopbaanbegeleiding en

de pedagogische taak van de docent haar speciale interesse, zoals duidelijk werd in

haar recente taak als projectleider van de beroepsleerplaats pedagogiek (i.s.m. Fontys

Hogeschool).

bio

grafi

e

8988

Formatief toetsen ter ondersteuning van het kennisleren

Alja van der Lek

Samenvatting

De theoretische onderbouwing in de afstudeerwerkstukken in het hbo wordt door de

controlerende instanties, de politiek en de publieke opinie zeer kritisch gevolgd. In het

competentiegericht onderwijs dreigt de theoretische scholing van de student onder het

gewenste niveau te raken doordat de toetsing te weinig is gericht op de theoretische

onderbouwing van de beroepsproducten. In deze studie is onderzocht of het invoeren

van een tussentijdse formatieve kennistoets leidt tot het significant meer bestuderen

en adequaat gebruiken van de theorie in het beroepsproduct. Daartoe zijn twee

gerandomiseerde experimenten uitgevoerd, waarbij is gekeken of de resultaten na de

tussentijdse formatieve toets in de interventiegroep beter zijn dan in de controlegroep,

of de student na deze toets een meer diepgaande studiestrategie gebruikt dan daarvoor

en of de student een grotere intrinsieke motivatie ontwikkelt. De resultaten laten

zien dat een eenmalige tussentijdse formatieve kennistoets geen effect heeft op de

studiestrategie en de intrinsieke motivatie voor het leren van theoretische kennis. Er

is een klein, maar niet significant effect gevonden op het cijfer van de summatieve

toets “Het Verslag” en een significant effect op het cijfer voor de summatieve toets

“De Presentatie” in één van de twee experimenten. Op basis van de resultaten en de

literatuur wordt gepleit voor het herhalen van het experiment op grotere schaal en met

een grotere intensiteit.

Inleiding

De maatschappelijke en politieke aandacht voor het eindniveau in het hbo heeft geleid

tot een meer kritische blik op dat niveau door de instanties die de kwaliteit van het

hoger onderwijs in Nederland moeten controleren. De Nederlands Vlaamse Accreditatie

Organisatie (NVAO) en in haar kielzog de visiterende instanties zoals de Netherlands

Quality Agency (NQA) leggen een vergrootglas op de kwaliteit van het afstudeerniveau

in het hbo. De maatschappelijke en politieke commotie is ontstaan door een aantal

incidenten, dat veel aandacht kreeg in de pers en als gevolg daarvan in de politiek

(Vreemde ogen dwingen. Eindrapport Commissie externe validering examenkwaliteit

hoger beroepsonderwijs., 2012). Het is de vraag of het werkelijk slecht gesteld is met

het eindniveau. De inspectie komt tot de conclusie dat er veel schort aan de borging van

het eindniveau en de naleving van de wet- en regelgeving (Inspectie van het onderwijs,

2011). De NVAO stelt vast dat bij vier van zesentwintig nader onderzochte opleidingen

een aanzienlijk deel van het afstudeerwerk niet van hbo-kwaliteit is. Het hbo bezint zich

naar aanleiding van deze signalen op het borgen van het afstudeerniveau. Het rapport

Examens in het hbo; kwaliteitseisen en kwaliteitsborging legt een verband met toetsing

9190

en beoordeling en betoogt dat er een goede balans moet zijn in de toetsing van kennis,

vaardigheden, beroepshouding en bekwaamheid (Sluijter & Straetmans, z.d.). Van

Bommel (2013) concludeert in een studie naar de kenniskwaliteit van studenten Sociaal

Werk dat de meerderheid van de studenten meer ondersteuning nodig heeft bij het

opbouwen van een kennisstructuur en het krijgen van kritische controle, dan het huidige

constructivistische, competentiegerichte onderwijs biedt. De toetsing als gevolg van de

competentiegerichtheid kan te eenzijdig gericht raken op vaardigheden en te weinig op

kennis. Deze studie onderzoekt het verband tussen toetsing en kennisleren en beschrijft

twee experimenten met een interventie op het gebied van toetsing, die beoogt het leren

van theoretische kennis te stimuleren.

Uit de literatuur blijkt dat feedback één van de krachtigste instrumenten is in een

leerproces (Hattie & Timperly, 2007). Dat is één van de redenen waarom gekozen is voor

een formatieve toets. Het onderzoek beoogt een bijdrage te leveren aan kennis over

de relatie tussen toetsing en studiegedrag en het effect van tussentijdse formatieve

toetsing. De onderzoeksvraag luidt: “Leidt het invoeren van een tussentijdse formatieve

kennistoets tot het significant meer bestuderen en adequaat gebruiken van de theorie

in het beroepsproduct?” Het ‘significant meer bestuderen’ is geoperationaliseerd in de

studiestrategie van de student en de intrinsieke motivatie voor het leren van theorie.

Gebruiken de studenten na de formatieve toets een meer diepgaande studiestrategie

dan daarvoor? Bestaat er een verband tussen de intrinsieke motivatie voor het leren van

theoretische kennis en het cijfer voor het beroepsproduct? Is de intrinsieke motivatie

voor het leren van theoretische kennis toegenomen na de formatieve toets? Het

‘adequaat gebruiken van de theorie in het beroepsproduct’ moet blijken uit betere

resultaten voor het beroepsproduct. Halen de studenten uit de interventiegroep hogere

cijfers voor het beroepsproduct? Slagen er in de interventie groep meer studenten in de

eerste gelegenheid voor de eindtoets van het programma?

Opzet onderzoek

Experiment

In deze studie is met twee gerandomiseerde experimenten onderzocht of het invoeren

van een tussentijdse formatieve kennistoets leidt tot het significant meer bestuderen

en adequaat gebruiken van de theorie in het beroepsproduct. Experiment 1 vond

plaats in het tweede jaar van de opleiding SPH (Sociaal Pedagogische Hulpverlening)

en experiment 2 in het derde studiejaar van de opleiding MWD (Maatschappelijk Werk

en Dienstverlening), twee van de zes opleidingen van het Instituut Sociale Studies

aan de Hogeschool van Arnhem en Nijmegen. Bij experimentgroep 1, SPH, waren door

de docent in elke lesgroep (willekeurig) subgroepen samengesteld om te werken aan

de groepsopdracht. Deze 12 subgroepen, van in totaal 43 studenten, zijn willekeurig

verdeeld in een interventiegroep en een controle groep. Hoewel een willekeurige

toewijzing op individueel niveau tot meer valide meetresultaten leidt, is gekozen voor

een verdeling van de subgroepen. De studenten werken samen in de subgroep aan

de één van de twee summatieve toetsen. Het risico van contaminatie is zeer groot bij

een willekeurige verdeling van de studenten. In de tweede experimentgroep was het

mogelijk om de 135 studenten van MWD, individueel willekeurig toe te wijzen aan

een interventiegroep en een controlegroep. De interventie vindt plaats bij één van de

5 of 6 onderwijseenheden, die een student per jaar volgt, ‘Kwaliteitsverbetering en

Beleidsontwikkeling’. Deze onderwijseenheid richt zich op het leren functioneren in een

organisatie voor sociaal werk. Niet de directe relatie tussen de professional en de cliënt

staat centraal, maar hoe de professional meedraait en bijdraagt aan de werkwijze en

kwaliteit, van de dienstverlening van de organisatie. De interventiegroep nam deel aan

de tussentijdse formatieve kennistoets. In samenwerking met de coördinatoren van de

onderwijseenheid werd de tussentijdse formatieve kennistoets geconstrueerd. Deze

bestaat uit maximaal 6 vragen. De coördinatoren schreven een antwoordmodel.

Prestest, posttest

Naast het vergelijken van twee groepen bestaat het design uit een pre- en posttest over

de leerstrategie en de intrinsieke motivatie voor het leren van theoretische kennis. Alle

studenten werden voor en na de interventie via de mail uitgenodigd om een vragenlijst

in te vullen met betrekking tot hun studiestrategie (Biggs, Kember, & Leung, 2001) en

hun intrinsieke motivatie voor het leren van theorie (Schouwenburg, 1996).

De interventie

De interventie bestaat, zoals gezegd, uit een tussentijdse formatieve kennistoets.

Figuur 1

Theoretisch model

tussentijdseformatieve toets

zelffeedback en peerfeedback

kenniskwaliteit in beroepsproduct

motivatie en zelfregulatie

studiestrategie

toepassen van theorie kennisconstructie

9392

De interventie beoogt het leren van theoretische kennis door de student te verdiepen en

de theoretische verantwoording van beroepsmatig handelen te verbeteren. Het beoogde

proces wordt schematisch weergegeven in Figuur 1.

De veronderstelling is dat door het maken van de tussentijdse formatieve kennistoets,

de zelffeedback en peerfeedback, de student gericht kan oefenen met het toepassen van

kennis in het beroepsproduct, dat onderwerp is van summatieve toetsing aan het eind

van de cursus. Hij krijgt daardoor een beeld van wat er wordt verwacht aan theoretische

onderbouwing. Hierdoor gaat hij na de formatieve toets een meer diepgaande

studiestrategie gebruiken en zal hij nieuwe kennis beter integreren in bestaande kennis.

Dat heeft een positief effect op de motivatie voor het leren van theoretische kennis.

Alles bij elkaar moet dit leiden tot een hogere kenniskwaliteit in het beroepsproduct.

De studenten bespreken het resultaat met elkaar en geven elkaar feedback met

behulp van het antwoordmodel. Dat dit van belang is blijkt uit een experimenteel

onderzoek van Drouin (2010). De studie onderzoekt de effectiviteit van een evaluatie

van het toetsresultaat individueel of in een groep. De studenten die in een groep hun

toetsresultaten hebben geëvalueerd, scoren in de posttest gemiddeld 10 % hoger dan

degenen die dit individueel hadden gedaan.

De interventie werd begeleid door de onderzoeker, duurde anderhalf uur en bestond

uit de volgende onderdelen: schriftelijk beantwoorden van de vragen; lezen van het

antwoordmodel; lezen van de antwoorden van een medestudent; gesprek tussen de

twee studenten naar aanleiding van een vijftal vragen, waarmee ze zichzelf en elkaar

feedback gaven. De onderzoeker had geen inhoudelijke rol en gaf ook geen feedback.

De kennistoets in de interventie is zodanig samengesteld, dat het niet gaat om uit het

hoofd leren en reproduceren van feiten, maar om begrip, toepassing en verbanden

leggen tussen verschillende concepten. De literatuur over de relatie tussen toetsing en

studiegedrag leidt tot de conclusie dat een kennistoets met open vragen niet bijdraagt

aan het ontwikkelen van een theoretische kennisbasis omdat die een oppervlakkige

studiestrategie uitlokt. De interventie heeft een duidelijk en direct verband met de

integrale eindtoets en sluit aan het kwaliteitscriterium educational consequences. Dat

houdt in dat een toets een positief effect moet hebben op het leergedrag van de student

(Baartman, Bastiaens, Kirschne, & van der Vleuten, 2006). De interventie in deze studie

bestaat uit een tussentijdse toets. Studenten, die deelnemen aan een tussentijdse

toets, blijken beter te presteren in de eindtoets van een programma (De Paola & Scoppa,

2011). De docent speelt geen rol in de tussentijdse formatieve kennistoets. Er wordt

gewerkt met een schriftelijk antwoordmodel, dat is geschreven door de coördinator

van het programma. Daarmee wordt de eventuele positieve of negatieve invloed van de

docent op het effect vermeden (Yin et al, 2008, Simpson-Beck, 2011). Sluijsmans et al.

(2013) onderscheiden in hun beschrijvende studie acht methoden van formatief toetsen.

De interventie in deze studie is een combinatie van de methoden self-assessment

en peer-assessment. Daarnaast wordt gebruik gemaakt van een methode uit het

afstandsonderwijs, schriftelijke terugkoppeling met behulp van een antwoordmodel.

Feedback geeft de student de mogelijkheid om te zien op welk punt hij is op weg naar

het bereiken van de leerdoelen en wat hij nog moet ondernemen om daar te komen

(Hattie & Timperly, 2007). De vragen “Waar ben ik op de weg naar een goed resultaat

voor mijn beroepsproduct?” en “Wat moet ik nog doen om daar te komen?” maken deel

uit van de nabespreking van de tussentijdse formatieve kennistoets. De feedback is

niet de enige reden waarom gekozen is voor een formatieve toets. Een ander voordeel

is dat een formatieve toets kan uitgevoerd worden zonder dat het onderwijs- en

examenreglement hoeft te worden aangepast. Het is een weinig arbeidsintensieve

interventie.

Resultaten

Een eenmalige tussentijdse formatieve kennistoets blijkt in dit onderzoek geen

effect te hebben op de studiestrategie en de intrinsieke motivatie voor het leren van

theoretische kennis. De interventie is zeer waarschijnlijk te weinig intensief om een meer

diepgaande studiestrategie te ontwikkelen en om de intrinsieke motivatie voor het leren

van theorie te vergroten. De studie geeft aan dat er een verband bestaat tussen een

oppervlakkige studiestrategie en lagere studieresultaten. Er slagen niet meer studenten

uit de interventiegroep voor de eerste kans. Er is een klein, niet significant effect van

de interventie op het cijfer voor “Het Verslag” gevonden. Het cijfer voor het verslag

is gemiddeld 0,41 punt hoger in de interventiegroep. Er is wel een significant effect

gevonden op het cijfer voor “De Presentatie”. Het cijfer voor de presentatie is gemiddeld

1 punt hoger in de interventiegroep dan in de controlegroep. Het blijkt echter dat het

effect voornamelijk is toe te schrijven aan de studenten uit het experiment bij SPH. De

interventie zou misschien intensiever moeten zijn of anders vormgegeven zou moeten

worden. Met name voor het experiment bij MWD geldt dat de vormgeving zwakke

plekken had. Daardoor was er veel uitval bij de deelname aan de interventie. Een zwakke

plek in het design bij MWD is de controleconditie. De studenten uit de controlegroep

woonden een les bij, die ze naar eigen wens en in overleg met de docent konden invullen.

Het is mogelijk dat de inhoud van de les effect heeft gehad op het cijfer van studenten

in de controlegroep. Deze studie geeft geen aanleiding tot een beleidsmaatregel om

een tussentijdse formatieve kennistoets breder in te voeren. Daarvoor is uitgebreider

onderzoek nodig. De literatuur over de werkzaamheid van feedback (Hattie & Timperly,

2007) geeft aanleiding om te veronderstellen dat een activiteit waarin de student

9594

zichzelf test en beoordeelt aan de hand van een antwoordmodel positief effect kan

hebben op het eindresultaat en zijn studiegedrag kan bijsturen. Het is van groot belang

om de studenten te ondersteunen bij het opbouwen van een solide kennisbasis. Het is

de moeite waard om in een grootschaliger studie met een meer intensieve interventie

te onderzoeken of tussentijdse kennistoetsing, waarin gevraagd wordt de theorie toe

te passen in het beroepsproduct, bijdraagt aan kennisbasis van de professional en

misschien ook aan een meer diepgaande studiestrategie.

Referenties

• Baartman, L.K., Bastiaens, T.J., Kirschne, P.A. & van der Vleuten, C.P. (2006). The wheel of competency

assessment: presenting qualitycriteria for competency assessment programs. Studies in Educational

Evaluation 32, 153-170.

• Biggs, J., Kember, D. & Leung, D. (2001). The Revised Two Factor Study Process Questionnaire: R-SPQ-2F.

British Journal of Educational Psychology. 71, 133-149.

• De Paola, M. & Scoppa, V. (2011). Frequency of examinations and student achievement in a randomized

experiment. Economics of Education Review 30, 1416– 1429.

• Drouin, M. (2010). Group-Based Formative Summative Assessment Relates to Improved Student

Performance and Satisfaction. Teaching of Psychology 37, 114-118.

• Hattie, J. & Timperly, H. (2007). The power of feedback. Review of Educational Research, 81-112.

• Inspectie van het onderwijs. (2011, april 28). Actueel, Nieuwsberichten. Opgeroepen op januari 28, 2015,

van Website van de Onderwijsinspectie. Ministerie van Onderwijs, Cultuur en Wetenschap: http://www.

onderwijsinspectie.nl/actueel/nieuwsberichten/Borging+afstudeerniveau+in+hbo+niet+overal+op+orde.

html

• Schouwenburg, H.C. (1996). Handleiding bij Intel ’95: een test voor intellectualisme. Groningen:

Universiteit Groningen.

• Sluijter, C. & Straetmans, G. (z.d.). Examens in het hbo; kwaliteitseisen en kwaliteitsborging. Retrieved

2013 29 december from Vereiniging van Hogescholen: http://www.vereniginghogescholen.nl/

standpunten/doc_view/1701-examinering-in-het-hbo-commissie-evex

• Van Bommel, M. (2013). Learning knowledge for competent social work. Students’ learning experiences

and knowledge outcomes in a constructivist bachelor’s programme. Nijmegen.

• Vreemde ogen dwingen. Eindrapport Commissie externe validering examenkwaliteit hoger

beroepsonderwijs. (2012). Den Haag: HBO-raad, vereniging van hogescholen.

Alja van der Lek

Alja van der Lek (1954) was zes jaar stafmedewerker in het vormingswerk met jong

volwassenen en zes jaar bij een Centrum voor Ontwikkelingssamenwerking (COS), een

organisatie voor voorlichting en educatie over ontwikkelingssamenwerking. Vanaf 1985

is zij docent bij de opleiding Culturele en Maatschappelijke Vorming van het Instituut

Maatschappelijke en Sociaal-culturele Studies (IMSS) van de Hogeschool van Arnhem en

Nijmegen (HAN), en sinds 2000 in de functie van hoofddocent. Van 2001 tot 2010 was

zij onderzoeker bij de kenniskring van het lectoraat Professionalisering van Agogische

Beroepen en Vaktherapeuten in de Gezondheidszorg en van 2010 tot 2012 bij de

kenniskring van het lectoraat Lokale Dienstverlening vanuit Klantperspectief van de

HAN.

bio

grafi

e

9796

Selecteren aan de poort: de juiste student op de juiste plek?

Onderzoek naar het effect van decentrale selectie op studieprestatie en studie-uitval

Lynette Menting

Samenvatting

Het selecteren van studenten is één van de mogelijke maatregelen om het

studierendement te verhogen en studie-uitval terug te dringen. De opleiding

Verpleegkunde aan de Hogeschool van Amsterdam heeft voor het studiejaar 2014-2015

een numerus fixus ingesteld en heeft een deel van de studenten decentraal en een deel

centraal geselecteerd. Het doel van dit onderzoek is te bestuderen of de decentrale

selectiemethode daadwerkelijk de beste studenten selecteert. Studenten die zijn

geselecteerd door de opleiding, worden vergeleken met studenten die zijn afgewezen

maar door loting toch konden starten en met studenten die alleen mee hebben gedaan

met de loting. Toetscijfers en studie-uitval zijn geanalyseerd en uit de resultaten kan

de conclusie worden getrokken dat de selectiemethode op kennis en motivatie wel

samenhangt met betere cijfers, maar dat deze resultaten niet alleen zijn toe te schrijven

aan de selectiemethode en dat er dus geen causaal verband is tussen selectie en betere

toetsresultaten en studie-uitval bij vergelijkbare studenten. Deze resultaten geven geen

aanleiding om de selectiemethode aan te passen. Wel is vastgesteld dat de willekeurige

selectiegrens van 103 punten arbitrair is. Een grens van 110 punten lijkt beter, want 69%

van de studenten, die dan worden geselecteerd, behaalden hun propedeuse. Met deze

selectiegrens voldoet de opleiding aan de rendementsafspraken zoals afgesproken in

het convenant. Studenten die meedoen aan de decentrale selectie dienen de voorkeur te

krijgen toegelaten te worden tot de opleiding, omdat meedoen aan loting samenhangt

met een hoger percentage studie-uitval.

Aanleiding

De opleiding Verpleegkunde aan de Hogeschool van Amsterdam heeft voor het

studiejaar 2014-2015 een numerus fixus ingesteld en heeft een deel van de studenten

decentraal en een deel centraal geselecteerd. Door een explosieve groei van 60%

meer instroom, kon de kwaliteit van het onderwijs niet meer worden gewaarborgd.

De opleiding hoopt dat de selectie een bijdrage kan leveren aan het verbeteren

van het studiesucces en het reduceren van uitval. Voor de opleiding Verpleegkunde

zijn studenten die uitvallen en/of studievertraging oplopen een probleem. In 2012

haalde 60% van de eerstejaars het propedeuse en 73% het diploma. Er is echter in een

convenant vastgelegd dat dit percentage in 2015 omhoog moet naar respectievelijk 65%

en 84% in 2020.

In dit onderzoek wordt getracht twee onderzoeksvragen te beantwoorden. Ten eerste

wordt onderzocht of studenten die zijn geselecteerd bij de decentrale selectie, beter

9998

presteren en minder uitvallen dan studenten die zijn afgewezen, maar via loting

alsnog een kans hebben gekregen te kunnen starten met de opleiding. De tweede

onderzoeksvraag tracht antwoord te geven op de vraag of decentraal geselecteerde

studenten beter presteren en minder uitvallen dan studenten die alleen mee hebben

gedaan met de centrale loting (zich niet aangemeld hebben voor de decentrale selectie).

In een aantal andere onderzoeken naar de effectiviteit van selectie aan de poort is de

onderzoeksvraag vergelijkbaar. In deze onderzoeken komt men tot de conclusie dat

significante verschillen in studieprestaties alleen aanwezig zijn tussen geselecteerde

studenten en studenten die niet hebben meegedaan met de decentrale selectie (Visser,

2014; Schripsema, RTrigt, Borleffs & Cohen-Schotanus 2014; O’Neill, Hartvigsen,

Wallstedt, Korsholm, & Eika, 2011; Urlings-Strop, Stijnen, Themmen, & Splinter, 2009).

Onderzoeken met het onderwerp selectie hebben voornamelijk plaatsgevonden in het

wetenschappelijk onderwijs en deze onderzoeksresultaten zijn niet automatisch te

vertalen naar het hoger onderwijs, omdat het instroomniveau voor de universiteit veel

minder divers is.

De uitkomsten van dit onderzoek zijn in de eerste plaats van belang voor de opleiding

Verpleegkunde aan de HvA. Daarnaast heeft de HvA, in navolging van het landelijke

beleid, besloten het centraal selecteren af te schaffen en voor het studiejaar 2016-2017

alleen decentraal te selecteren. Dit onderzoek beoogt een bijdrage te leveren aan de

beleidsontwikkeling van de HvA omtrent selectiemethoden en beoordelingscriteria.

Tevens is het onderzoek van belang voor alle opleidingen Verpleegkunde in Nederland,

omdat nog niet eerder voor deze beroepsgroep een dergelijk onderzoek is gedaan.

Decentrale selectie

De decentrale selectieprocedure in dit onderzoek bestaat uit een aantal opdrachten

waar studenten punten voor halen. De 140 studenten die de meeste punten halen,

ontvangen een toegangsbewijs voor de opleiding. Vervolgens vindt er een centrale loting

plaats. Op basis van een gewogen loting krijgen 210 studenten een toegangsbewijs voor

de opleiding. Studenten die bij de decentrale selectie, geen toegang hebben gekregen

maken in de centrale loting alsnog kans op toelating. De decentrale selectieprocedure

bestaat uit een cognitief gedeelte, (de kennistoets) en uit een non-cognitief gedeelte,

te weten de beoordeling van motivatie, bewuste keuze en extra inspanning. Voor de

centrale selectieprocedure ondernemen studenten geen extra activiteiten, ze melden

zich alleen aan. De procedure van de gewogen loting is in handen van Dienst Uitvoerend

Onderwijs (DUO) van het ministerie van OCW.

Figuur 1

Overzicht deelnemers selectie en onderzoeksgroepen

Toegelatenn=140

Groep DS geselecteerdn=122

Decentrale selectien=268

Afgewezenn=128

Groep NS niet geselecteerdn=60

Centrale lotingn=209

Loting 161

Groep LIngelootn=113

Onderzoeksopzet

Om de onderzoeksvraag te kunnen beantwoorden en het verschil in studieprestaties en

studie-uitval tussen de groep decentraal geselecteerde studenten (DS) en de groep niet

geselecteerde studenten (NS) te kunnen vergelijken wordt een Regressie Discontinuïteit

(RD) design toegepast. Het RD design is een quasi-experimentele onderzoeksmethode,

waarbij deelnemers door middel van een willekeurige, exogene drempel worden

toegewezen aan een interventie- of een controlegroep. Deelnemers rondom de drempel

zijn hierdoor vergelijkbaar (Lee, 2008). In dit onderzoek is de exogene drempel de

selectiegrens van 103 behaalde punten tijdens de decentrale selectie. Geselecteerde

studenten komen in de interventie groep. Deelnemers die niet zijn geselecteerd en

zijn ingeloot, komen in de controlegroep. De aanname van een RD design is dat alleen

de studenten met de 103 punten vergelijkbaar zijn en dat het effect van de selectie

op de studieprestaties en studie-uitval enkel wordt geschat rondom de drempel. Door

toevoeging van de variabelen selectiepunten, kan het verschil van de studenten worden

geschat.

101100

Resultaten

Tabel 1

Regressieanalyse toets Medische kennis onderzoeksgroepen Decentrale selectie

(DS-groep) en niet geselecteerde (NS) met en zonder variabele selectiepunten

Model 1 Model 2

Constante5,318***

(0,159)5,707***

(0,186)

DS-groep0,957***

(0,194)0,064

(0,305)

Selectiepunten0,043***

(0,012)

R 2 0,126 0,192

N 170

*** p<0,01 | ** p<0,05 | * p<0,1

Bij vier toetsen zijn in model 1 (regressieanalyse zonder dwingende variabele)

significante verschillen te zien in de gemiddelde cijfers tussen geselecteerden en niet

geselecteerden; het cijfer van de DS-groep is hoger dan van de NS-groep. Door in model 2

de variabele selectiepunten toe te voegen, kan het verschil alleen worden toegeschreven

aan de selectie. De verschillen in gemiddelde cijfers die zijn geschat, worden echter

veel kleiner en zijn niet meer significant. Bij de toets medische kennis is de variabele

selectiepunten significant, en dat heeft een voorspellende waarde op het verschil in

toetscijfers. Dit betekent dat studenten die 1 punt hoger hebben gehaald bij de selectie

bij Medische Kennis 0,043 meer punten zullen halen. Conclusie is dat hoge selectie

punten nauw samen hangen met hogere scores, maar dat er geen causaal verband is

tussen selectie en betere resultaten bij vergelijkbare studenten. De nulhypothese dat

selectie geen verschil maakt in studieprestaties voor vergelijkbare studenten rondom

de drempel kan niet worden verworpen. Een verklaring voor deze uitkomsten kan zijn

dat er te weinig observaties zijn, waardoor er kans is geen significant effect te vinden,

terwijl er in werkelijkheid wel een effect is, de zogenaamde type 2 fout. Interessant is om

te bepalen welke selectiegrens dan wel voldoende onderscheidend is bij vergelijkbare

studenten. Om dit te kunnen vaststellen zijn er naast de selectiegrens van 103 punten

nog 3 andere grenzen vastgesteld: één lagere grens van 95 en twee hogere grenzen

van 110 en 118. De verdeling is zo vastgesteld dat er voldoende observaties in beide

onderzoeksgroepen overbleven. Ondanks dat de selectiegrens wordt verlaagd of

verhoogd zijn er nog steeds geen significante verschillen ontstaan tussen vergelijkbare

studenten rondom de drempel. De kleine n blijft waarschijnlijk een deel van de

verklaring. Wel is te zien dat bij de gesimuleerde selectiegrens van 95 punten, het

gemiddelde van 5,4 wordt behaald. Bij deze grens haalt van de dan niet geselecteerde

studenten 65% een onvoldoende tegen 69% voldoendes in de geselecteerde groep. Om

een uitspraak te kunnen doen welke grens samenhangt met het wel of niet slagen van

een student, is er gekeken bij welke grens, 68% van de geselecteerde studenten, de 60

studiepunten van het propedeusejaar behalen. Bij het behalen van 110 selectie punten

of meer, behaald 69% van de geselecteerde studenten 60 studiepunten. Met deze

selectiegrens voldoet de opleiding aan de rendementsafspraken zoals afgesproken in het

convenant.

Het tweede gedeelte van dit onderzoek tracht antwoord te geven op de vraag of

studenten die alleen mee hebben gedaan met de decentrale selectie en zijn geselecteerd

(DS) beter presteren en minder uitvallen dan studenten die er voor hebben gekozen om

alleen mee te doen met de centrale loting (L). Verschillende factoren kunnen van invloed

zijn op het wel of niet deelnemen aan de decentrale selectie en het wel of niet ingeloot

te worden. Dit maakt de onderzoekgroepen verschillend en niet vergelijkbaar. Om de

onderzoeksvraag te kunnen beantwoorden en toch een causaal effect te kunnen meten,

wordt er gebruik gemaakt van Propensity Score Matching (PSM) om zo vergelijkbaar

mogelijk groepen samen te stellen.

Tabel 2

Gemiddeld selectie-effect berekend met onafhankelijke tweezijdige T-test bij toets

medische kennis en studie-uitval

Ingestroomdvia Decentrale Selectie

Ingestroomdvia Centrale Loting

n Gem. cijfer (SD) n Gem. cijfer (SD) Verschil P-waarde

Medische Kennis 1056,22

(1,197)94

5,68(1,077)

0,538 0,001***

Studie-uitval 1110,054

(0,208)111

0,144(0,353)

-0,090 0,025*

*** p<0,01 | ** p<0,05 | * p< 0,1

Bovenstaande resultaten laten zien dat decentraal geselecteerde studenten meer punten

halen dan (verder vergelijkbare) ingelote studenten en minder uitvallen. Bij de toetsen

Medische Kennis is het verschil (0.538) en dit verschil is significant op 1 % (p=0,001).

103102

De nulhypothese dat studenten die meedoen aan de decentrale selectie en geselecteerd

(DS) zijn, niet beter presteren dan studenten die alleen aan de centrale loting meedoen,

kan worden verworpen. Er is een effect tussen geselecteerd zijn en meedoen aan

de decentrale selectie voor deze groep studenten met deze achtergrondkenmerken.

De identificerende aanname bij PSM is dat groepen vergelijkbaar zijn op gematchte

achtergrondkenmerken en op niet observeerbare kenmerken. Dit betekent dat studenten

die door enkel deel te nemen aan de decentrale selectie, betere resultaten behalen.

Aannemelijker is echter dat de gemeten verschillen toe te schrijven zijn aan niet

observeerbare kenmerken, zoals extra inspanning en studiekeuze. Motivatie van

studenten is in dit onderzoek niet gemeten en dit kan van invloed zijn op de gemeten

verschillen in studieprestatie en studie-uitval. Hierdoor is betwijfelbaar of we kunnen

spreken van een causaal effect.

Samengevat geven de resultaten uit dit onderzoek geen aanleiding om de

selectiemethode aan te passen. Wel is de willekeurige selectiegrens van 103 punten

arbitrair, 110 punten lijkt een betere grens, 69% studenten die dan worden geselecteerd

halen hun propedeuse. De komende studiejaren gaat de hogeschool 100% decentraal

selecteren en de kans dat 350 studenten 110 punten halen, is gering. Een selectiegrens

van 95 punten, waar 65% van de niet geselecteerden een onvoldoende halen voor de

toets Medisch Kennis kan een goed alternatief zijn. Wel is deze grens alleen geschikt als

350 deelnemers, 95 punten of hoger behalen. Indien deelnemers minder dan 95 punten

halen, en de opleiding dus minder dan 350 studenten heeft geselecteerd, worden deze

plekken opgevuld door DUO met afgewezen of te laat ingeschreven studenten. Op dat

moment heeft de opleiding een keuze om of alle deelnemers van de decentrale selectie

toe te laten ongeacht hun behaalde punten, of om studenten via loting de opleiding te

laten instromen. Deelname aan de loting heeft een samenhang met studie-uitval en het

verdient daarom aanbeveling om de voorkeur te geven aan studenten die meedoen aan

de decentrale selectie.

Referenties

• Jacob, J., Zhu, P., Somers, M.A. & Bloom, H.A.(2012). Practical Guide to Regression Discontinuity. MDRC.

• Lee, D.S. (2008). Randomized experiments from non-random selection in U.S. house elections. Journal of

Econometrics, 142(2), 675-697. doi:10.1016/j.jeconom.2007.05.004

• Lucieer, S.M., Stegers-Jager, K.M., Rikers, R.M.J.P. & Themmen, A.P.N. (2015). Non-cognitive selected

students do not outperform lottery-admitted students in pre-clinical stage. Advances in Health Scienes

Education: Theory and Practice, doi: 10.1007/s10459-015-9610-4

• O’Neill, L., Hartvigsen, J., Wallstedt, B., Korsholm, L. & Eika, B. (2011). Medical school dropout-testing

at admission versus selection by highest grades as predictors. Medical Education, 45(11), 1111-1120.

doi:10.1111/j.1365-2923.2011.04057.x; 10.1111/j.1365-2923.2011.04057.x

• Schripsema, N.R., van Trigt, A.M., Borleffs, J. & Cohen-Schotanus, J. (2014). Selection and study

performance: Comparing three admission processes within one medical school. Medical Education, 48(12),

1201-1210. doi:10.1111/medu.12537

• Urlings-Strop, L., Stijnen, T., Themmen, A.P.N., & Splinter, T.A.W. (2009). Selection of medical students: A

controlled experiment. Medical Education, 43(2), 175-183. doi:10.1111/j.1365-2923.2008.03267.x

• Visser, K., van der Maas, H., Engels-Freeke, M. & Vorst, H. (2012) Het effect op studiesucces van decentrale

selectie middels proefstuderen aan de poort. Tijdschrift voor Hoger Onderwijs,2012(30)3, 161-173.

105104

Lynette Menting

Lynette Menting is als docent Verpleegkunde en als teamcoördinator verbonden

aan de opleiding Verpleegkunde van de Hogeschool van Amsterdam (HvA). Na een

carrière als verpleegkundige in verschillende ziekenhuizen, als wijkverpleegkundige en

leidinggevende, heeft zij de overstap gemaakt naar het onderwijs. In 2004 is zij gaan

werken als Klinisch Verpleegkundig Opleider in het OLVG. Aandachtsgebied was het

leren op de verpleegafdeling van zowel stagiaires als verpleegkundigen. In 2007 heeft zij

haar eerste graad docenten opleiding behaald. In deze functie heeft zij samen met het

Academisch Centrum Amsterdam (AMC) en de HvA, een nieuwe HBO Verpleegkunde

duaal curriculum ontwikkeld. In 2011 heeft zij de overstap gemaakt naar de HVA.

De opleiding Master Evidence Based Innovation in Teaching, Universiteit Maastricht

heeft een bijdrage geleverd om kennis en ervaring op te doen met wetenschappelijk

onderzoek.

Met deze nieuwe kennis en ervaring is zij in staat wetenschappelijke informatie te

verzamelen over onderwijs en beleid en dit beoordelen op de toepasbaarheid in de

praktijk. Daarnaast is zij in staat een bijdrage te leveren aan wetenschappelijk onderzoek

gericht op nieuwe onderwijsontwikkelingen.

bio

grafi

e

107106

Het effect van online formatieve vragen op studieprestaties

Freek Morren

Samenvatting

Online formatieve vragen zijn een vorm van feedback die studenten helpen de eigen

studievoortgang te monitoren en sterke en zwakke punten in kaart te brengen.

Ondanks dat deze vragen steeds vaker worden ingezet in het (hoger) onderwijs is

onduidelijk of deze vragen ook daadwerkelijk de studieprestaties verbeteren. In deze

studie is onderzocht of deze vorm van feedback kan bijdragen aan het verbeteren van

studieprestaties en daarmee aan het verbeteren van het studierendement in het hoger

beroepsonderwijs. De interventie bestond uit online formatieve vragen in de vorm

van oefentoetsen bij de vakken Food Science en Nutrition die werden aangeboden

aan propedeusestudenten Voeding & diëtetiek (Hogeschool van Amsterdam). Als

uitkomstmaat is gekozen voor de cijfers voor beide tentamens. Er bleek sprake van

significante samenhang tussen het aantal gemaakte oefentoetsen en het eindcijfer. Hoe

meer oefentoetsen gemaakt, hoe hoger ook het eindcijfer. Uit de analyses blijkt dat er

geen significante relatie is tussen het slechts aanbieden van online formatieve vragen

en het tentamencijfer. Beperkingen in het studiedesign en contaminatie dragen bij aan

vertroebeling van de resultaten. Wel is duidelijk dat studenten de mogelijkheid om op

deze wijze te oefenen met de collegestof als zeer positief ervaren. Bovendien vonden zij

de vragen effectief en gaven aan er beter door te presteren. Daarnaast bleken de kosten

voor het invoeren van de interventie beperkt.

Aanleiding

Er wordt al jaren veel gesproken over het beperkte studierendement van de student

in het hoger onderwijs. Niet geheel onterecht. Daar waar in 2004 nog 57 % van de

studenten binnen 5 jaar afstudeerde is in 2008 nog slechts 52 % van de studenten

daarin geslaagd (Vereniging Hogescholen, 2012). Naar aanleiding van deze cijfers en de

twijfel over het niveau van diverse curricula, volgde op initiatief van de HBO-Raad een

kritisch analyse uitgevoerd door de commissie Bruins. Dit resulteerde in het rapport

Vreemde ogen dwingen (HBO Raad, 2012). Het verbeteren van de studieprestaties is

één van de vele aandachtspunten in het rapport, er van uitgaande dat betere prestaties

ook leiden tot een hoger studierendement. Feedback blijkt bij uitstek een middel om

de studentprestaties te verbeteren. Structurele en tijdige feedback blijkt een bepalende

factor voor studiesucces. Studenten blijven gemotiveerder en passen bij regelmatige

feedback hun studiegedrag aan (Black & Wiliam, 2003; Boud, 2000; Hattie & Timperley,

2007; Hattie, 2009). In het hoger beroepsonderwijs wordt in toenemende mate gebruik

gemaakt van online formatieve vragen, een vorm van feedback. De mogelijkheden om

dit type vragen aan te bieden zijn legio en implementatie in diverse online media is

109108

relatief eenvoudig. De formatieve vragen hebben als doel de student inzicht te geven

in de eigen kennisontwikkeling. Er wordt verondersteld dat het inzichtelijk maken

van de sterke en zwakke punten zelfstudie concreter vorm geeft. Ondanks dat de

onderwijskundige theorie aangeeft dat feedback studentprestaties daadwerkelijk kan

verbeteren, ontbreekt zuiver empirisch bewijs of ook online formatieve vragen dit effect

bewerkstelligen. Uit literatuuronderzoek blijkt sprake van een positieve trend. Hoe vaker

een student online formatieve vragen maakte, hoe hoger het eindcijfer op het tentamen

(Bekkink, Donders, van Muijen, & Ruiter, 2012; Bercher, 2012; Hodgson & Pang, 2012).

Op basis van de huidige literatuur kan niet worden gesteld dat online formatieve vragen

ontegenzeggelijk studieprestaties van de student verbeteren.

Interventie

Online formatieve vragen werden in deze studie aangeboden aan propedeusestudenten

(N=228) Voeding & diëtetiek HvA bij de vakken Food Science en Nutrition in de vorm van

oefentoetsen. De vragen werden aangeboden via het online platform Blackboard. De

interventie had de volgende kenmerken:

• 7 oefentoetsen bij het vak Food Science, wekelijks 1 oefentoets

• 14 oefentoetsen bij het vak Nutrition, wekelijks 2 oefentoetsen

• 10 meerkeuzevragen met vier antwoordmogelijkheden per online formatieve toets

• Vragen zijn voorzien van impliciete feedback

• Vragen worden samengesteld door de vakdocent

Opzet onderzoek

Alle eerstejaars studenten waren betrokken in deze studie, de studenten werden

ingedeeld in twee onderzoeksgroepen, zie Figuur 1.

Onderzoeksgroep één bestond uit klas 1 tot en met 4 en groep twee uit klas 5 tot en met

7. Studenten zijn op basis van postcode toegewezen aan de klassen en vervolgens aan de

onderzoeksgroepen. Beide groepen fungeerden zowel als controle- en interventiegroep

gezien de studenten beide vakken hebben gevolgd in dezelfde periode. De interne

validiteit wordt met dit studiedesign beperkt gewaarborgd. Het samenstellen van

de klassen op basis van postcode zorgde voor een verschil in observeerbare- en niet-

observeerbare kenmerken. Toewijzen op basis van postcode is niet willekeurig omdat een

bepaalde regio kan samenhangen met bijvoorbeeld een hoger inkomen van de ouders,

betere vooropleiding et cetera. Een verschil in uitkomst is daarmee wellicht te wijten

aan deze kenmerken in plaats van aan het wel of niet maken van de online formatieve

vragen. Deze interne validiteit is optimaal wanneer studenten via een exogeen

gerandomiseerde toewijzing worden verdeeld in een controle- en interventiegroep. Bij

een dergelijke verdeling worden ook de achtergrondkenmerken van de student verdeeld

over beide groepen, wat maakt dat enkel datgene wat verschilt de interventie is. Een

significant verschil in uitkomst mag dan als causaal worden geduid.

Figuur 1

Studiedesign effect online formatieve online Hogeschool van Amsterdam

228 studentenVoeding & diëtetiek HvA

2014 / 2015

enquête

tentamenfood science

nutrition

onderzoeksgroep 1133 studenten

Vak: Food Science7 oefentoetsen

onderzoeksgroep 295 studentenVak: Nutrition

14 oefentoetsen

week 1

7/14 online informatieve toetsen

2 3 4 5 6 7

Resultaten

Studenten hebben veelvuldig gebruik gemaakt van de interventie die facultatief was. 75

% heeft één of meer oefentoetsen gemaakt, gemiddeld 5 bij het vak Food Science en 7 bij

het vak Nutrition. Het enthousiasme bleek zelfs van dien aard dat studenten veelvuldig

wachtwoorden met elkaar hebben uitgewisseld om toegang te verkrijgen tot de online

formatieve vragen bij het andere vak. Deze contaminatie maakt het bijzonder complex

een causaal verband te duiden. De samenhang tussen het aantal gemaakte oefentoetsen

en eindcijfer bleek echter significant zoals is te zien in Tabel 1.

111110

Tabel 1

OLS Regressie samenhang eindcijfer en het aantal gemaakte oefentoetsen

Model 1 Model 2

Constante5,619***

(0,123)5,799***

(0,658)

Vak Food Science- 0,476***(0,127)

- 0,499***(0,119)

Aantal gemaakte oefentoetsen0,121***

(0,013)0,109***

(0,012)

VWO0,588***

(0,192)

Opleiding overig- 0,037(0,255)

MBO- 0,647***(0,192)

Vrouw0,032

(0,137)

Leeftijd- 0,014(0,034)

Decentraal geselecteerd0,607***

(0,128)

R2 0,235 0,346

N 412 412

*** p<0,01 | ** p<0,05 | * p<0,10

De positieve samenhang wil echter niet zeggen dat studenten ook daadwerkelijk beter

presteren door het maken van online formatieve vragen. Het is niet onaannemelijk

dat de gemotiveerde studenten die de studie met succes willen afronden ook deze

vragen aangrijpen om beter te presteren. Via een Instrumentele Variabele analyse is er

gekeken naar die studenten die zich hebben gedragen zoals gewenst. Deze studenten

hebben de vragen gemaakt wanneer ze deze hebben toegewezen gekregen en links

laten liggen wanneer zij in de controlegroep zaten. Het voordeel van deze analyse is dat

het effect zuiverder wordt geschat. Het nadeel is dat slechts een klein deel studenten

voor deze analyse wordt geselecteerd en daarmee de power afneemt. Slechts 61 van

de 228 studenten in deze studie worden betrokken in de analyse. De kans dat je een

effect daadwerkelijk vindt wordt daarmee vanzelfsprekend kleiner, de spreiding rond de

gemiddelden wordt met een beperkter aantal waarnemingen groter (toename sd) en de

standaardfouten nemen toe. Uit de analyse zoals is te zien in Tabel 2 kan niet worden

geconcludeerd dat puur het aanbieden van deze vragen in de vorm van oefentoetsen ook

daadwerkelijk de studentprestaties verbeteren.

Tabel 2

IV Analyse 2-Stage Least Squares samenhang gebruik interventie en tentamencijfer

Model 3 Model 4

Constante6,058***

(0,393)5,855***

(0,339)

Interventie- 0,015(0,580)

0,012(0,537)

MBO- 0,681***(0,186)

VWO0,711***

(0,211)

Overig-0,122(0,234)

Decentraal geselecteerd0,719***

(0,153)

R2 0,000 0,145

*** p<0,01 | ** p<0,05 | * p<0,10

Ondanks dat het op basis van deze studie niet mogelijk is te spreken van een causaal

verband tussen het maken van online formatieve vragen en het tentamencijfer, bleken

studenten zeer tevreden met de interventie. Ruim 93 % van de studenten gaf aan beter

te kunnen leren door het maken van de vragen, 96 % benadrukt effectiever te kunnen

studeren en 66 % gaf aan ook beter te presteren. De kosten voor de invoering van de

interventie op grote schaal blijken bovendien beperkt.

Conclusie

De significant positieve samenhang tussen het aantal gemaakte oefentoetsen en het

eindcijfer, de positieve beoordeling van de studenten en geringe kosten geven meer

dan voldoende aanleiding nader onderzoek te verrichten. Dat kan uiteraard bij voorkeur

met behulp van een design waarbij de interne validiteit beter wordt gewaarborgd dan

in deze studie het geval was. In deze studie was het aantal te maken oefentoetsen niet

willekeurig verdeeld over de onderzoeksgroepen en konden studenten zelf bepalen geen

of alle oefentoetsen te maken. Het is interessant te kijken naar een optimale hoeveelheid

oefentoetsen per vak en per studieblok en de relatie met het tentamencijfer. Veel is

immers niet altijd beter.

113112

Referenties

• Bekkink, M.O., Donders, R., van Muijen, G.N.P. & Ruiter, D.J. (2012). Challenging medical students with

an interim assessment: A positive effect on formal examination score in a randomized controlled study.

Advances in Health Sciences Education, 17(1), 27-37.

• Bercher, D.A. (2012). Self-monitoring tools and student academic success: When perception matches

reality. Journal of College Science Teaching, 41(5), 26-32.

• Black, P. & Wiliam, D. (2003). ‘In praise of educational research’: Formative assessment. British Educational

Research Journal, 29(5), 623-637.

• Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society. Studies in

Continuing Education, 22(2), 151-167.

• Hattie, J. (2009). Visible learning; a synthesis of meta-analyses relating to achievement. (First ed., pp. 173-

183). Abingdon and New York: Routledge.

• Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.

doi:10.3102/003465430298487

• HBO Raad. (2012). Vreemde ogen dwingen - Bruin, J.A., Cohen-Schotanus, J., Dunnewijk, M., Kalmthout

van, F., Vleuten van der, C., Smits, R., Sluijter, C.. Rijksoverheid: HBO Raad.

• Hodgson, P. & Pang, M.Y.C. (2012). Effective formative E-assessment of student learning: A study on a

statistics course. Assessment & Evaluation in Higher Education, 37(2), 215-225. Retrieved from http://

search.ebscohost.com/login.aspx?direct=true&db=eric&AN=EJ954996&site=ehost-live&scope=site;

http://dx.doi.org/10.1080/02602938.2010.523818

• Vereniging Hogescholen. (2012). Cijfers studierendement HBO bachelor landelijk, periode 2004 - 2008.

Freek Morren

Opgeleid als voedingskundige werkt Freek Morren sinds 2011 op de Hogeschool van

Amsterdam als docent aan de opleiding Voeding & Diëtetiek. Zijn interessegebieden

zijn: Eten & herkomst, Duurzaamheid, Food Cultures, Voeding & ethiek, Food Science en

Productontwikkeling. Daarnaast zit hij binnen de opleiding in de Curriculumcommissie.

De commissie heeft als doel het opleidingsprofiel te toetsen aan de uitvoering. Met

andere woorden: Doen we daadwerkelijk wat we in het verleden hebben opgeschreven?

Hoe doen we dat? En sluit dat aan bij de geformuleerde leerdoelen? Hij is daarin

verantwoordelijk voor de leerlijn Food Science die zich uitstrekt over meerdere leerjaren

en waar meerdere vakken onder vallen. Sinds het docentschap houdt hij zich bezig met

onderwijsvernieuwing waarin ook digitalisering een rol speelt. Daar is ook de interesse

gewekt voor het aanbieden van online formatieve vragen. Via de MEBIT kreeg hij de

mogelijkheid de effectiviteit te toetsen. Tijdens de MEBIT heeft hij het belang ingezien

van een empirische onderbouwing in relatie tot onderwijsvernieuwing en/of verbetering.

De studie heeft hij als zeer inspirerend en waardevol ervaren. De komende jaren blijft

hij – naast het docentschap – onderzoek doen in het onderwijs naar de effectiviteit van

onderwijsmethoden en aanpassingen in het curriculum.

bio

grafi

e

115114

De studieplanner

Leidt effectief gebruik van een studieplanner tot betere studieresultaten in de onderbouw van het voortgezet onderwijs?

Ruud Puts

Samenvatting

Op de Nederlandse basisscholen wordt in verhouding tot het voortgezet onderwijs

weinig huiswerk opgegeven. Het plannen van het huiswerk en de studie is derhalve

voor veel leerlingen een nieuw fenomeen bij de overstap naar het voortgezet onderwijs.

In zowel de onderbouw als de bovenbouw van het voortgezet onderwijs blijkt dat veel

leerlingen moeite hebben met het plannen van hun studie. Echter ook in het hoger

beroepsonderwijs en de universiteiten lopen studenten vast met het plannen van hun

studie. Veel leerlingen en studenten vertonen uitstelgedrag en raken daardoor in de

problemen met slechte studieresultaten als gevolg. De minder goede studieresultaten

die daardoor ontstaan kunnen dan naar een lagere vorm van onderwijs leiden. Dit

onderzoek richt zich op het effect van beter leren plannen van de studie en daardoor

een eventuele afstroom naar een lager vorm van onderwijs te voorkomen. De gebruikte

studieplanner is gebaseerd op het herhalen van de leerstof waardoor de opgeslagen

kennis wordt geoptimaliseerd. In minder studietijd worden dan beter studieresultaten

behaald (Brandhof, 2009). Tijdens dit experimenteel design op het Sint-Janscollege te

Hoensbroek zijn 123 havo-2 leerlingen at random toegewezen aan het onderzoek. 63

leerlingen uit 2 interventiegroepen (H2A en H2B) werken gedurende 9 maanden met

een studieplanner. De 60 leerlingen uit de 2 controlegroepen (H2C en H2D) werken in

deze periode zonder studieplanner. Na 9 maanden volgt een analyse en effectmeting.

Deze vindt plaats tussen alle leerlingen uit de interventiegroep en de controlegroep. De

resultaten laten zien dat er een significant verband bestaat tussen de interventie en de

gemiddelde overgangscijfers, (r = 0,20, Sig.2-zijdig = 0,02 en Cohen’s d = 0,4).

Aanleiding

De aanleiding voor dit experimenteel onderzoek is de werking van de ontworpen

studieplanner in het boekje “Kun je leren leren dan?” van Puts & Heynen (2013). Met

behulp van de gebruikte leerstrategieën in dit boek worden de leerlingen getraind hun

studie optimaal aan te pakken met een betere tijdsindeling. Veel leerlingen geven aan

dat ze moeite hebben met het juist indelen van hun huiswerk en de daarbij behorende

planning. Door effectief te plannen zijn leerlingen beter in staat om zich in zo kort

mogelijke tijd kennis eigen te maken. Moos & Azevedo (2008) geven aan dat het stellen

van doelen en plannen een groot effect opleveren voor de leerresultaten. Het inzetten

van een studieplanner, waar de docent, de ouder en de leerling zelf een rol spelen,

zou een belangrijke stap in deze richting moeten zijn. Op grond van alle bestudeerde

publicaties is het de verwachting dat de invoering van een studieplanner uiteindelijk tot

betere studieresultaten zal leiden. De gebruikte studieplanner tijdens dit experiment is

117116

gebaseerd op het aanbieden van structuur in het leerproces en het huiswerk, rekening

houdende met de nog niet volledig ontwikkelde prefrontale cortex en de sociaal-

affectieve verandering in de puberteit, de leer- en vergeetcurve (herhalen van leerstof) en

de medewerking van docenten, ouders en leerlingen zelf.

Literatuur

Uit de literatuur is gebleken, dat de effectiviteit van de studieplanner onderhevig

is aan een aantal aspecten, zoals motivatie van de leerling (Salend & Gajria, 1995),

hersenontwikkeling (Jolles, 2007), ouders (Williams, 1996), docenten (Azevedo et al.

2008), geslacht (Claessen, 2013) en de opbouw en gebruiksvriendelijkheid van de

studieplanner (Schouwenberg & Vugteveen, 1995). Met name uit dit laatste aspect

blijkt als de gebruikte studieplanner cognitief te veeleisend en te ingewikkeld is, dit kan

leiden tot het ontbreken van resultaten (Manlove, Lazonder & de Jong, 2009). Volgens

Bonestroo & de Jong (2012) is het bovendien van belang dat een studieplanning voor

een langere periode geldt zodat er ook sprake is van herplannen. Op grond van de

literatuurstudie gaan we er vanuit dat de interventie tot positieve resultaten zal leiden

bij de overgangscijfers in de interventiegroep. Verder spreken we onze verwachting

uit dat de meisjes door de interventie meer voortuitgang zullen boeken bij de

overgangscijfers dan de jongens. Uit het literatuuronderzoek blijkt dat jongens vaak

slechter presteren dan meisjes (Dekker, 2013). Achterblijvende prestaties van jongens in

het voortgezet onderwijs kunnen eerder ontstaan door hun negatieve attitude tegenover

het onderwijs, die vaak versterkt wordt vanuit de peergroep en waarvan de wortels al

tijdens de basisschoolperiode tot ontwikkeling zijn gekomen. Resultaten uit diverse

onderzoeken lijken ook in deze richting te wijzen (Siongers, 2002; Brutsaert, 1993). D.

Burman (2009) constateert dat meisjes meer breinactiviteit vertonen in verschillende

taalgebieden in de hersenen. Taal en woorden worden steeds belangrijker in het

onderwijs. Samenwerken, het maken van samenvattingen en geven van presentaties

krijgen steeds meer de nadruk wat ten koste gaat van de wiskundige en ruimtelijke

componenten. Dat sluit allemaal beter aan bij het op taal gerichte brein van de meisjes

dan bij het motorische en ruimtelijk georiënteerde jongensbrein (Claessen, 2013). Jolles

(2007) en Luken (2008) stellen dat leerlingen tegenwoordig teveel worden opgezadeld

met open opdrachten en te weinig sturing, terwijl hun hersenen hierop nog niet zijn

toegerust. Omdat de hersenontwikkeling bij jongens langzamer verloopt dan bij meisjes

zijn het de jongens die hiervan de meeste nadelen ondervinden. Uit een onderzoek

van Coenen, Meng & Van der Velden (2011) volgt dat meisjes het bijvoorbeeld qua

studieplanning en zelfstandig werken beter doen dan jongens. Jongeren, met name

de jongens hebben vaak slechte zelfevaluatievaardigheden en weinig structuur in

hun planning (Bussing et al., 2012). De Witte & Haan (2013) geven in hun artikel aan

dat zelfstandigheid, samenwerken en plannen voorbeelden zijn van competenties

waarin meisjes beter presteren dan jongens. Volgens Claessen (2013) laten jongens

zich moeilijker aanzetten tot hard werken dan de meisjes. Daarbij plannen de meisjes

beter en kunnen zich ook beter aan deze planning houden. In een studie uitgevoerd

door Honingsfeld & Dunn (2003) blijkt dat meisjes hogere niveaus tonen in motivatie,

doorzettingsvermogen, oudermotivatie en docentmotivatie dan jongens. Rowe (2003)

en Auduc (2009) constateren in hun onderzoek dat de wiskundeachterstand van meisjes

de afgelopen jaren is afgenomen of zelfs helemaal is verdwenen. Het beleid van Sint-

Jan is naar aanleiding van dit onderzoek thans gericht op een verplicht gebruik van de

studieplanner in alle brugklassen, tweede klassen en derde klassen van het havo. Er

wordt nog discussie gevoerd over het verplicht gebruik richting bovenbouw.

Opzet onderzoek

Bij dit experimenteel onderzoek is gerandomiseerd op klasniveau. Daarbij neemt een

experimentele groep, bestaande uit twee havo-2 klassen (63 leerlingen,12-14 jaar)

deel aan de interventie, terwijl twee andere havo-2 klassen (60 leerlingen, 12 – 14

jaar) als controlegroep fungeren. Vanaf oktober tot de overgang werken de leerlingen

uit de experimentele groep gedurende 9 maanden met een studieplanner. Bij de

overgang op het einde van het schooljaar volgt aan de hand van de overgangscijfers

een analyse met effectmeting. Daarbij wordt niet alleen onderscheid gemaakt tussen

de interventiegroep en de controlegroep. Er wordt verder geanalyseerd op klasniveau

en geslacht. Er vindt een analyse en effectmeting plaats tussen jongens onderling,

meisjes onderling en tussen jongens en meisjes onderling in de interventiegroep. Om

hetgeen te meten wat de bedoeling is hebben we getracht om de externe validiteit te

waarborgen door de leerlingen at random toe te wijzen aan de groepen met behulp

van de brugklascoördinator. Achtergrondkenmerken van de leerlingen worden hierdoor

beter verdeeld over de groepen. Ouders en de leerlingen uit de interventiegroep zijn

voorgelicht over hoe om te gaan met de studieplanner. Docenten kregen de keuze

om wel of niet deel te nemen aan het onderzoek. Omdat een aantal docenten zowel

aan de interventiegroep als aan de controlegroep les geeft, is afgesproken om in de

controlegroep geen gebruik te maken van de studieplanner.

Er is een nulmeting beoordeeld met behulp van een t-test aan de hand van de

citoscores en de cijfers waarmee alle leerlingen zijn bevorderd naar havo-2. Uit deze

nulmeting blijkt dat de citoscores en de gemiddelde overgangscijfers naar havo-2 van de

interventiegroep en de controlegroep niet statistisch significant verschillend zijn.

119118

Verder is er een nulmeting beoordeeld met behulp van een t-test aan de hand van de

citoscores en de overgangscijfers waarmee de jongens zijn bevorderd naar havo-2 en

waarmee de meisjes zijn bevorderd naar havo-2.

Uit deze nulmeting blijkt dat de citoscores en de gemiddelde overgangscijfers naar havo-

2 van de interventiegroep en de controlegroep van zowel de jongens als van de meisjes

niet statistisch significant verschillend zijn.

Interventie

Bij dit experiment vindt onderzoek plaats naar de werking van een studieplanner op

de leerresultaten van leerlingen uit de onderbouw van het voortgezet onderwijs. Het

experiment startte direct na de herfstvakantie in oktober 2012 en eindigde bij de

overgang in juli 2013. Vanaf oktober 2012 tot Kerstmis 2012 is met een eerste variant

van de studieplanner gewerkt. De bedoeling hiervan is om de leerlingen te laten

kennismaken met het invullen van huiswerk. De leerling leert hier hoeveel tijd hij/zij

nodig heeft voor het maken van het huiswerk. Het is een eenvoudige optelsom van het

huiswerk. Nadeel hiervan is dat het invullen nogal wat tijd vergt van de leerling. Vanaf

januari 2013 tot juli 2013 werkte de leerling nog uitsluitend met een tweede variant van

de studieplanner. Hierin worden alleen nog de opgegeven proefwerken, overhoringen

en presentaties gepland. Het maakwerk wordt niet meer meegenomen in de planning.

Het maakwerk vindt plaats op de dag dat het door de docent wordt opgegeven. De

leerling moet de studieplannermap met daarin de studieplanners elke dag meenemen

naar school. Op het moment dat een proefwerk of overhoring wordt opgegeven vult de

leerling de daarvoor benodigde tijd onmiddellijk in de klas in, eventueel met behulp van

de docent. De mentoren van de interventiegroep bespreken wekelijks de studieplanner

met de leerlingen. Verschuivingen van planningstijden worden dan met de leerlingen

besproken. Bij de vakken waar hoge cijfers worden gehaald kan minder tijd worden

gepland ten gunste van de vakken waar lagere cijfers worden gehaald. Op deze wijze

wordt de leerling getraind om effectiever met zijn planningstijden om te gaan. De

vakdocenten werken op dezelfde manier en sturen bij waar dat nodig is. Vandaar dat

de reflectie van de leerling op de eigen planning en de evaluatie van docenten van de

studieplanner van cruciaal belang is in deze fase van het leerproces. De school hecht

veel waarde aan de samenwerking met de ouders. Vandaar dat in de studieplanner

ruimte is gemaakt voor het aftekenen van de studieplanner, niet ter controle van hun

zoon of dochter, maar uitsluitend bedoeld om samen met school aandacht te besteden

aan de planning. De vakken die deel nemen aan dit experiment zijn Nederlands, Frans,

Duits, Engels, geschiedenis, aardrijkskunde, wiskunde, mens en natuur, economie en

levensbeschouwing.

Resultaten

De resultaten laten zien dat er een significant verband bestaat tussen de interventie

en de gemiddelde overgangscijfers, (r = 0,20, Sig.2-zijdig = 0,02 en Cohen’s d = 0.4). De

analyse van de studieresultaten waarbij het geslacht een determinerende rol speelt

laat zien dat er geen significant verschil is in studieresultaten tussen de jongens en de

meisjes. Verder wordt geconstateerd dat er geen significant verschil is in H2A en H2B bij

de overgangscijfers. De interventie blijft met t = 2,11 en p = 0,04 significant.

Regressiemodellen (zie Tabel 1) testen de bovenstaande resultaten in een stapsgewijs

rijker model, met telkens bijkomende controlevariabelen of gedifferentieerde effecten. In

model 2 onderzoeken we een mogelijk verschillend effect bij jongens en meisjes.

In dit model wordt geconstateerd dat er geen significant verschil is in overgangscijfers

tussen de jongens en de meisjes.

In model 3 onderzoeken we of een klas (H2A of H2B) meer gegroeid is dan de ander.

In dit model wordt geconstateerd dat er geen significant verschil is in H2A en H2B bij

de overgangscijfers. De interventie blijft met t = 2,11 en p = 0,04 significant. Binnen de

interventiegroep is de ene klas niet meer gegroeid dan de andere. Dat suggereert dat de

interventie in beide klassen een vergelijkbaar resultaat geeft, en dus niet toevallig tot

stand is gekomen in één klas, door niet-geobserveerde kenmerken van de klas die we niet

kennen. De klas-dummy’s spelen dus geen rol.

In model 4 onderzoeken we welke invloed de interventie, het geslacht, de citoscore

en de cijfers van de brugklas hebben op de overgangscijfers naar de derde klas. De

regressievergelijking toont aan dat de leerlingen uit de interventiegroepen door het

gebruik van de studieplanner gemiddeld 0,30 hoger scoren op de overgangscijfers.

Bij de overgangscijfers speelt het geslacht geen rol van betekenis. Jongens scoren wel

gemiddeld iets lager dan de meisjes (geschatte coëfficiënt -0,04), maar dat verschil is

niet statistisch significant

121120

Tabel 1

Regressiecoëfficiënten en hun statistische significantie

model 1 model 2 model 3 model 4

t-waarde t-waarde t-waarde t-waarde

Constante6,28**

(0,08)79,96

6,25**(0,12)

52,476,34**

(0,10)62,80

-13,75(7,19)

-1,91

Interventie0,25*

(0,11)2,25

0,40*(0,16)

2,450,28*

(0,14)2,11

0,30*(0,10)

3,05

Geslacht ( jongen=1)

-0,05(0,16)

0,33-0,09(0,11)

-0,84-0,04(0,10)

-0,43

Interactie-effect jongens

-0,28(0,22)

-1,29

Interventie H2B-0,08(0,16)

-0,50

Citoscore0,03*

(0,01)2,03

Overgangscijfer Brugklas

0,86**(0,11)

8,15

N 123 123 123 123

R2 0,04 0,06 0,05 0,47

Gecorrigeerde R2 0,03 0,04 0,02 0,44

Tussen haakjes staan de standaardfouten

** significant op 0,01 niveau (2-zijdig) | * significant op 0,05 niveau (2-zijdig)

Conclusie

Vernieuwend aan de ontwikkelde studieplanner is dat in de tweede variant van de

studieplanner geen rekening wordt gehouden met opgegeven huiswerk. Dit wordt

zoveel mogelijk gemaakt op de dag dat het wordt opgegeven. Planning speelt daarbij

dus een minimale rol. Er wordt nog uitsluitend gepland bij opgegeven proefwerken,

overhoringen en presentaties. Zowel ouders, mentoren als docenten krijgen nu een

belangrijke rol bij de studieplanner. Met name het plannen in de klas en vervolgens de

evaluatie en reflectie op gemaakte werken, samen met docenten, is innovatief.

Deze studieplanner is duidelijk, gemakkelijk en snel te hanteren. De benodigde tijd bij

het invullen is klein en dat gebeurt al in de klas.

Referenties

• Baron-Cohen, S. (2003). The essential difference. Men, women and the extreme male brain. Londen:Allen

Lane, Penguin Books.

• Biddulph, S. (2007). Jongens. Hoe voed je ze op? Waarom ze zo anders zijn en hoe ze opgroeien tot

gelukkige en evenwichtige mannen. Elmar BV.

• Bonestroo, W.J. & de Jong, T. (2012). The planning illusion: Does active planning of a learning route

support learning as well as learners think it does? Educational Studies, 38, 5, 559–571.

• Burman, D. (2009). Gender Differences in Language Abilities: Evidence from Brain Imaging.

Neuropsychologica, 46, 5, 2008, 1349-1362.

• Coenen, J., Meng, C. & Velden, R. van der (2011). Schoolsucces van jongens en meisjes in het HAVO en

VWO: Waarom meisjes het beter doen. Maastricht: ROA.

• Crone, E.A. & Dahl, R. (2012). Understanding adolescence as a period of social-affective engagement and

goal flexibility. Nature reviews Neuroscience, 13, 636-650.

• Dekker, S.J., (2013). Brain lessons: neuropsychological insights and interventions for secondary education.

Ede: GVO drukkers & vormgevers B.V. | Ponsen & Looijen.

• Gibbons, S. & Telhaj, S. (2006). Peer effects and pupil attainment: Evidence from secondary school

transition. London: London School of Economics.

• Hoover-Dempsey, K.V., Battiato, A.C., Walker, J.M.T., Reed, R.P., DeJong, J.M. & Jones, K.P. (2001).

Parental Involvement in Homework. Educational Psychologist, 36 (3), 195-209.

• Hoover-Dempsey, K.V., Green, C.L., Walker, J.M.T. & Sandler, H.M. (2007). Parents’ motivations for

involvement in children’s education: An empirical test of a theoretical model of parental involvement.

Journal of Educational Psychology, 99 (3), 532-544.

• Solomon, Y., Warin, J. & Lewis, C. (2002). Homework as a site of tension for parents and teenagers. British

Educational Research Journal. 28, 4, 603-622.

123122

Ruud Puts

Ruud Puts (1954) studeerde op de lerarenopleiding natuurkunde, scheikunde en

biologie. Vervolgens studeerde hij pedagogiek met als specialisatie onderwijskunde.

Hij maakte een tijd deel uit van de directie als teamleider vwo. Thans is hij coördinator

onderwijsontwikkeling op het Sint-Janscollege te Hoensbroek. Hij verzorgt voorlichting

aan ouders en leerlingen over “Leren leren” en hersenontwikkeling. Tijdens de MEBIT-

opleiding heeft hij onderzoek gedaan naar de werking van een eigen ontwikkelde

studieplanner en een paper geschreven over breinvriendelijk lesgeven.

bio

grafi

e

125124

Zijn zelfgezochte stageplekken beter voor de studieprestaties?

Jelle Schoemaker

Samenvatting

Docenten willen studenten inspireren om betere studieprestaties neer te zetten.

Helpt het als je de student zelf een stageplek laat zoeken of zijn de opdrachten van de

vacaturebank net zo uitdagend en interessant om hoge beoordelingen te realiseren?

Mijn studie toont aan dat er een samenhang is tussen studenten die zelf een stage

hebben gevonden en hogere beoordelingen. Deze samenhang is het sterkst bij mannen

en bij studenten die in het eerste semester stage lopen. Echter kan niet worden

vastgesteld of het zelf zoeken van een stage voor iedereen hogere beoordeling oplevert

omdat studenten zelf de keuze hadden of ze zelf een stage gingen zoeken. Analyse

toont aan dat er geen verschillen zaten in studiecijfers, geslacht, leeftijd en studieduur

tussen het zelf zoeken van een stage en het gebruik maken van de vacaturebank. Wel

laat het onderzoek zien dat niet-geobserveerde variabelen (bijvoorbeeld motivatie of

interesse) een rol hebben gespeeld in de selectie. Daarom verdient het aanbeveling om

de vacaturebank te behouden, maar ook meer aandacht te besteden aan het zoekproces

van studenten naar een geschikte stage.

Aanleiding

In het kader van mijn Master Innovation in Teaching (MEBIT) heb ik onderzoek gedaan

naar de invloed van een persoonlijke leerroute. Een persoonlijke leerroute is een van

de speerpunten van de strategische agenda van het hoger onderwijs en zou leiden

tot betere studieprestaties. Een stage wordt bij de opleiding Sport, Gezondheid en

Management (SGM) altijd naar de persoonlijke wensen van de student ingevuld.

Niet altijd worden deze wensen ook daadwerkelijk helemaal gerealiseerd omdat de

beschikbaarheid van geschikte stageplekken beperkt is. De student heeft twee manieren

om tot een stageplek te komen. Hij vindt een stageplek door op de vacaturebank te

kijken naar uitgewerkte stageopdrachten die relaties van de opleiding aanbieden of hij

kan een stage hebben gevonden doordat hij zelf op zoek is gegaan naar een geschikte

plek en opdracht. Mijn idee is dat het zelf zoeken leidt tot een betere persoonlijke

leerroute omdat de student zelf initiatief moet nemen om zijn interesses af te stemmen

op zijn stage.

Het is belangrijk dat meer onderzoek gedaan wordt naar deze afstemming van interesse.

Deci (1992) geeft aan dat interesse nauw samenhangt met intrinsieke motivatie.

Mensen doen graag taken die hen interesseren ongeacht welke beloning daar aan

hangt. Interesse en plezier bij elkaar opgeteld maakt dat iemand intrinsiek gemotiveerd

is en dit heeft aantoonbaar effect op iemands leren (Deci & Ryan, 1985). Daarnaast is

127126

interesse stabiel en duurzaam over een lange periode (Schiefele, 1991) en is aangetoond

dat mensen harder werken en meer leren bij taken die hen interesseert (Krapp, Hidi, &

Renninger, 1992). Tot slot is interesse alom vertegenwoordigd. Er bestaan weinig mensen

die nergens meer interesse in hebben. Studenten die weinig geïnteresseerd lijken binnen

het klaslokaal, hebben vaak wel vele interesses buiten het klaslokaal. Tot slot hebben

onderwijsinstellingen erg veel invloed op het ontwerpen van leersituaties die de student

aanspreekt op deze interesses.

Opzet onderzoek

In het derde leerjaar (hoofdfase 2) lopen studenten van de opleiding Sport, Gezondheid

en Management (SGM) van de Hogeschool van Arnhem en Nijmegen stage bij een

praktijkorganisatie. Deze stage heeft een omvang van drie werkdagen per week voor een

duur van 20 weken (480 uur). Gelijktijdig met de stageperiode volgen de studenten een

onderzoeksvak in de twee overgebleven dagen per week. De stage kan worden gedaan in

het eerste of tweede semester van het derde leerjaar.

Met behulp van de beoordelingen van 200 SGM studenten die in het jaar 2013 en 2014

stage hebben gelopen en de gegevens van het praktijkbureau is vastgesteld op welke

manier de studenten hun stage heeft geregeld en wat hun beoordeling daarbij was. De

keuze tussen het zelf zoeken van een stage of gebruik maken van de vacaturebank is niet

willekeurig gegaan, omdat de student zelf heeft gekozen voor de manier waarop hij een

stage heeft bemachtigd. Daardoor kan het zijn dat de twee groepen onvergelijkbaar met

elkaar zijn. Met behulp van achtergrondkenmerken (zoals propedeusecijfers, geslacht,

leeftijd, studieduur) is achterhaald in hoeverre de groepen vergelijkbaar zijn.

Daarnaast is een kleine enquête uitgezet bij studenten die in 2015 bezig waren met hun

stage. Dit is gedaan om te kijken of studenten die zelf een stage hebben gelopen ook

daadwerkelijk een betere aansluiting wisten te realiseren tussen hun eigen interesses en

de stageopdracht.

Resultaten

Allereerst is vastgesteld dat vooral mannen kiezen voor een opdracht uit de vacaturebank

en dat vrouwen eerder hun stage zelf hebben geregeld. Er zijn geen verschillen gevonden

in leeftijd of in eerdere studieprestaties. Het is daarom niet zo dat beter presterende

studenten eerder kiezen voor het zelf zoeken van een stage. De twee groepen zijn in dat

opzicht met elkaar te vergelijken.

Met behulp van statistische analyse is gekeken naar de verschillen in stage beoordeling,

daarbij rekening houdend met de verschillen in achtergrondkenmerken bij de twee

onderzoeksgroepen. Daaruit blijkt dat studenten die zelf een stageopdracht hebben

verworven 0.4 punt hoger scoren (op een schaal van 1 tot 10) in de beoordelingen van

de stage ten opzichte van studenten die een stageopdracht doen uit de vacaturebank.

Deze samenhang is het sterkst aanwezig bij mannen en bij studenten die in het eerste

semester stage lopen.

Omdat studenten zelf kiezen op welke manier ze een stage gaan zoeken, kan het zijn

dat niet-geobserveerde variabelen (denk aan motivatie, interesse, introvert/extravert,

ambitie) niet gelijk verdeeld is over de onderzoeksgroepen. Deze zouden wellicht

kunnen verklaren waarom de ene groep beter presteert dan de andere groep. Om voor

alle niet-geobserveerde kenmerken te corrigeren is een selectie-vertekening variabele

toegevoegd. Deze toont aan dat het inderdaad zo is dat bepaalde studenten eerder

kiezen voor het zelf zoeken van een stage en daarmee betere resultaten scoren. Dit

onderzoek kon niet vaststellen welke type studenten dit zijn.

Wel is vastgesteld, door middel van 27 enquêtes die zijn afgenomen onder de huidige

stage studenten, dat er geen verschillen zijn in motivatie of interesse in de stage bij de

twee onderzoeksgroepen.

Hoe nu verder?

De resultaten van dit onderzoek laten zien dat er een samenhang bestaat tussen

studenten die zelf een stage zoeken en betere studieprestaties. Er is aangetoond

dat deze verschillen niet veroorzaakt worden doordat de betere studenten (op basis

van propedeuse cijfers) eerder zelf een stage zoeken. Wel is aangetoond dat andere

kenmerken (bv. motivatie of interesse) een rol spelen in de selectie en daarom studenten

die zelf een stage zoeken betere cijfers halen. Dit betekent dat het verschil niet

noodzakelijkerwijs komt door het zelf zoeken van een stage. Wanneer alle studenten

verplicht worden tot het zelf zoeken van een stage zal dit niet automatisch zorgen voor

betere cijfers.

Het verdient daarom aanbeveling om studenten meer te begeleiden bij de keuze van

een geschikte stageopdracht. Momenteel is de begeleiding minimaal van opzet. Bij het

praktijkbureau wordt informatie gegeven over de voorwaarde van de stage en worden

opdrachten aangeboden via de vacaturebank. Wanneer een student begeleid wil worden

bij het kiezen is hij aangewezen op de studieloopbaanbegeleider die op aanvraag met

hem gaat zitten.

129128

De opleiding zou hier iets structureels voor kunnen aanbieden. Stagedocenten kunnen

al eerder in het stageproces betrokken worden en één of twee workshops geven om

het zoekproces te begeleiden. Ook kunnen huidige stagestudenten helpen om de

toekomstige stagestudent te helpen. De kosten voor deze extra begeleiding komen uit

op zo’n 70 euro per student. Omdat deze begeleiding een beroep doet op de schaarse

middelen en de effecten hiervan nog niet zijn aangetoond, is het raadzaam om hier

een experiment aan te koppelen. Dit zou gedaan kunnen worden door de helft van de

stage studenten willekeurig toe te wijzen aan de extra begeleiding. Hierdoor is vast te

stellen of deze begeleiding ook leidt tot betere studieprestaties en of de middelen deze

vooruitgang waard zijn.

Referenties

• Deci, E.L. (1992). The relation of interest to the motivation of behavior: a self-determination theory

perspective. In K. A. Renninger, S. Hidi, & A. Krapp, The role of interest in learning and development (pp.

43-70). Hilsdale: Erlbaum.

• Deci, E.L. & Ryan, R.M. (1985). Intrinsic motivation and self-determination in human behavior. New York:

Plenum.

• Krapp, A., Hidi, S. & Renninger, K.A. (1992). Interest, learning and development. Hillsdale: Erlbaum.

• Schiefele, U. (1991). Interest, learning, and motivation. Educational Psychologist, 299-323.

• Tobias, S. (1994). Interest, Prior Knowledge, and Learning. Review of Educational Research, 37-54.

• van Nuland, H.J., Dusseldorp, E., Martens, R.L. & Boekaerts, M. (2010). Exploring the motivation jungle:

predicting performance on a novel task by investigating constructs from different motivation perspectives

in tandem. International Journal Psychology, 45(4):250-9.

Jelle Schoemaker

Jelle Schoemaker is als docent en onderzoeker verbonden aan de Hogeschool van

Arnhem en Nijmegen. Hij doceert en onderzoekt de waarde van sport en heeft

bijgedragen aan enkele onderwijsinnovaties zoals het Honourslab, Innovatieclub en de

stage ondernemersklas.

bio

grafi

e

131130

Moet je goed zijn in taal om te kunnen scoren?

Suzanne van Stratum

Samenvatting

In hoeverre is taalniveau een voorspeller van studiesucces in het hbo? Deze vraag

staat centraal in dit onderzoek. Op de Hogeschool van Amsterdam zijn de laatste

jaren eerstejaarsstudenten bij aanvang van hun studie getest op taalvaardigheid.

Daarnaast is geslacht, leeftijd en vooropleiding van de student bekend. De uitkomstmaat

is het studiesucces van de student. Dit is gemeten aan de hand van het aantal

gehaalde studiepunten na 1, 2 en 3 semesters studie. In de analyses is meegenomen

of vooropleiding een goede voorspeller is van studiesucces en of er andere sterke

voorspellers blijken te zijn.

Wat mogelijke voorspellers van studiesucces aangaat, geven de empirische resultaten

aan dat er, na correctie op werkelijk starten met de opleiding, geen significant negatieve

relatie is tussen vooropleiding mbo en studiesucces. Havisten en vwo’ers doen het

iets beter in semester 1 en 2, maar dit effect is weg in semester 3. Verder blijkt dat

vrouwen en jongere studenten het iets beter doen en dat studenten die de entreetoets

voor taalvaardigheid maken (ongeacht de uitslag) het iets beter doen dan studenten

die de entreetoets niet hebben gemaakt. Deelname aan de entreetoets lijkt een

betrouwbaardere voorspeller te zijn van studiesucces dan vooropleiding. Deze nieuwe

hypothese zou in een vervolgonderzoek getoetst kunnen worden.

Samenhang tussen taalniveau en studiesucces

In juni 2013 verscheen de startnotitie ‘Nederlands in het hoger onderwijs’ van de

Raad voor de Nederlandse Taal en Letteren en de Nederlandse Taalunie1 waarin zij

beleidsadvies geven over het Nederlands als instructietaal en over de taalvaardigheid van

studenten in het hoger onderwijs. De Raad maakt zich zorgen over de taalvaardigheid

Nederlands van studenten in het hoger onderwijs. Die zorgen gaan niet in de eerste

plaats om correct taalgebruik. Ze betreffen vooral de talige competenties die nodig zijn

om een studie te kunnen volgen in het hoger onderwijs: een presentatie geven, een

werkstuk structureren, argumenteren en wetenschappelijke teksten begrijpen. Dit wordt

aangeduid als ‘academische taalvaardigheid’. Daarnaast gaat het ook om de vereiste

beheersing van de vaktaal. De stelling dat een zeker taalvaardigheidsniveau nodig is om

succesvol te kunnen zijn in het hoger onderwijs is op de Hogeschool van Amsterdam

(HvA) getoetst. In de analyses is meegenomen of er andere betrouwbare voorspellers zijn

van studiesucces. De vraag is of een zeker taalvaardigheidsniveau nodig is om succesvol

te kunnen zijn. Dit onderzoek wil een bijdrage leveren aan deze discussie.

1 www.taalunie.org

133132

Opzet onderzoek

Om de correlatie tussen vooropleiding en studiesucces en die tussen taalniveau en

studiesucces te meten zijn lineaire regressies uitgevoerd. De onderzoekspopulatie

(N = 5.021) bestaat uit studenten die zich inschreven als eerstejaarsstudent in een van de

cohorten 2009 tot en met 2012 bij een van de elf voltijd opleidingen binnen het domein

economie en management (DEM). De onafhankelijke variabelen (x) zijn de vooropleiding

en de score entreetoets Nederlands, en de afhankelijke variabele (y) is het studiesucces.

Resultaten

Wat opvalt in de dataset is de variatie in groepsgrootte van studenten waarvan

studiesucces bekend is per semester en het grote percentage studenten dat geen

(verplichte!) entreetoets heeft gemaakt. Uit het bronbestand zijn die studenten

geselecteerd waarvan studiesucces bekend is over drie semesters en er is nader

onderzoek gedaan naar de groep studenten waarvan geen studiesucces bekend is.

In Tabel 1 is te zien hoeveel studenten deelnamen aan de entreetoets taal en of zij

studiesucces haalden.

Tabel 1

Deelname entreetoets en data studiesucces

Geenentreetoets

Wel deelnameentreetoets

Totaal

Dat

a va

n h

oeve

el

van

de

gevo

lgd

e se

mes

ters

?

0 821* 2224 3045

1 124 109 233

2 93 90 183

3 588 972 1560

totaal 1626 3395 3045 1976

* Spookstudenten

Dus van 3.045 studenten is helemaal geen studiesucces bekend. Van deze groep maakten

2.224 studenten wel de entreetoets en 821 studenten maakten geen entreetoets

score en zij haalden ook geen studiepunten. Het is opmerkelijk dat deze groep wordt

meegeteld bij het cohort, want het is de vraag of ze ooit op de opleiding zijn geweest. In

ieder geval namen ze niet deel aan de entreetoets en hebben ze geen studieresultaten

gehaald. Deze groep is benoemd als ‘spookstudent’.

Figuur 1

Selectie dataset geen SS bekend

3.045 geen SS bekend 1.976 wel SS bekend

2.224 wel entreetoets NL 821 geen entreetoets NL (spookstudenten)

585 entreetoets gehaald (latere uitval) 379 entreetoets niet gehaald (directe uitval) 964 rest

n=5021

n=3045

n=2224

Een volgende selectie is gemaakt voor 379 studenten die wel de entreetoets maakten,

maar deze niet haalden en ook geen studiepunten haalden. Het zou kunnen dat het

niet-halen van de entreetoets als signaal heeft gewerkt om niet te starten met de studie.

Deze groep is benoemd als de groep ‘directe uitval’. Verder is geselecteerd op de groep

studenten die wel de entreetoets haalde, maar vervolgens geen studiepunten. Deze

groep van 585 studenten is de groep ‘latere uitval’.

Het blijkt dat studenten met een vooropleiding vwo en studenten die ouder zijn bij

aanvang van hun studie een iets grotere kans hebben om spookstudent te zijn. Wellicht

omdat zij zich voor meerdere studies tegelijk aanmelden en zo de definitieve studiekeuze

uitstellen. De groep ‘directe uitval’ blijkt grotendeels te bestaan uit studenten met

een mbo-vooropleiding. De functie van de entreetoets is diagnosticeren en alarmeren

zodat de studenten de achterstand nog kunnen wegwerken, maar bij deze groep

kan het een afschrikkend effect gehad hebben. Immers, zij haalden de toets niet en

startten vervolgens ook niet met de opleiding. Studenten die later uitvallen, dus wel

de entreetoets gehaald, maar vervolgens geen studiepunten, blijken vaker man te

zijn, hebben minder vaak een vooropleiding mbo en vaker een vooropleiding vwo en

de leeftijd bij aanvang studie is iets hoger dan de studenten die niet op deze manier

uitvallen. Wat zou kunnen is dat studenten met een vwo-vooropleiding en studenten

die al wat ouder zijn, bij aanvang van de studie zich voor meerdere studies aanmelden

en meerde opties open houden. De definitieve keuze voor een studie kunnen ze op deze

manier uitstellen.

Er blijkt een restgroep te zijn ontstaan met 964 studenten, dit zijn studenten van wie

geen studiesucces bekend is, en ook geen score op de entreetoets Nederlands, maar wel

135134

scores op de entreetoetsen Engels en rekenen. Vandaar dat ze niet mee zijn geteld bij

de groep waarvan geen score op de entreetoets Nederlands bekend is, terwijl ze daar

feitelijk wel bij zouden horen.

Figuur 2

Selectie dataset wel SS bekend

3.045 geen SS bekend 1.976 wel SS bekend

n=5021

Vervolgens zijn analyses losgelaten op de groep studenten (N = 1976) waarvan

wel studiesucces bekend is. Dus de groep spookstudenten, directe uitval en latere

uitval is eruit gelaten. Deze groep geeft een eerlijker beeld van het cohort studenten

dat daadwerkelijk is gestart met de opleiding. De afhankelijke variabele in de

regressieanalyse (zie Tabel 2) is het aantal gehaalde studiepunten (ECTS) in semester 1.

Tabel 2

Afhankelijke variabele aantal gehaalde ECTS in S1

model 1 model 2 model 3

Constante0,82

(0,02)0,79

(0,02)1,40

(0,09)

Mbo0,02

(0,02)0,01

(0,02)0,01

(0,02)

Havo0,07

(0,02)***0,07

(0,02)***0,01

(0,02)

Vwo0,12

(0,03)***0,12

(0,03)***0,09

(0,03)**

Entreetoets gemaakt0,05

(0,01)***0,044

(0,01)***

Geslacht-0,03(0,01)**

Leeftijd -0,02(0,00)***

R2 0,01 0,01 0,04

N 1976 1976 1976

* significantie p<0,10 | ** p<0,05 | *** p<0,01

Als de variabele ‘entreetoets gemaakt’ wordt toegevoegd aan het model, dan heeft dat

vrijwel geen effect op de vooropleiding. Dat betekent dat het maken van de toets in

associatie met het studiesucces niet samenhangt met vooropleiding. Als de variabelen

geslacht en leeftijd worden toegevoegd, dan heeft dat ook vrijwel geen effect op

de vooropleiding. De analyse laat zien dat er een significant positief effect is tussen

vooropleiding havo en vwo en studiesucces, maar het gaat om een zeer klein effect.

Het gaat in beide gevallen om minder dan een tiende van een studiepunt verschil

ten opzichte van het gemiddelde. Verder doen studenten die de entreetoets gemaakt

hebben het iets beter dan de studenten die geen entreetoets gemaakt hebben, vrouwen

doen het iets beter dan mannen en studenten die jonger zijn bij aanvang van de studie

doen het iets beter dan studenten die ouder zijn bij aanvang van de studie. Dit beeld

continueert wanneer we soortgelijke analyses uitvoeren voor de volgende semesters.

Tijdens semester 2 gaat het wederom om een zeer klein effect. Na drie semesters is het

effect van de vooropleiding verdwenen. Wel is er nog een klein effect gemeten van het

wel maken van de entreetoets, deze studenten doen het iets beter. Ook is het kleine

effect van geslacht en leeftijd nog zichtbaar.

Op basis van de regressieanalyses moet geconcludeerd worden dat er geen negatief

effect van een vooropleiding mbo gemeten wordt. Havisten en vwo’ers doen het iets

beter in semester 1 en 2, maar dit effect is weg in semester 3. Verder blijft bij alle drie

de semesters zichtbaar dat meisjes het iets beter doen dan jongens en dat jongere

studenten het iets beter doen dan studenten die ouder waren bij aanvang van de studie.

Het effect van het maken van de entreetoets blijft wel zichtbaar tijdens alle drie de

semesters. Studenten die de entreetoets maken, doen het iets beter tijdens semester 1, 2

en 3 dan studenten die de entreetoets niet hebben gemaakt.

Ten slotte

Het onderzoek is gebaseerd op een dataset die in het verleden is verzameld. Het

voordeel hiervan is dat er gewerkt kan worden met een grote steekproef. Het nadeel

is dat het gaat om een reeds bestaande dataset; er kunnen geen variabelen aan

toegevoegd worden omdat deze gegevens ontbreken. Daarom is geen informatie

meegenomen over etniciteit, thuistaal of bijvoorbeeld sociaal economische status

van de studenten. Nog een nadeel is dat het taalniveau wordt bepaald aan de hand

van de score op de entreetoets Nederlands. Deze toets is intern ontwikkeld en het

gaat niet om een gevalideerde toets. De toets bestaat uit traditionele onderdelen als

spelling, vaste voorzetsels en zegswijzen. Deygers en Kanobana (2010) houden zich

bezig met taaltoetsing in het Nederlands taalgebied. Zij geven aan dat er geen relatie

137136

bestaat tussen taalvaardigheid gemeten op een dergelijke, traditionele, taaltoets en

studiesucces.

Het wel of niet deelnemen aan een entreetoets blijkt een interessant gegeven.

Deelname zegt iets over de mate waarin de student binding met de opleiding ervaart

en studiemotivatie. Hier zou de opleiding profijt uit kunnen halen. Qua taaltoets zou

de opleiding kunnen zorgen voor een meer betrouwbare meting van het taalniveau

van de studenten. Te denken valt een gevalideerde niveau-toets. Wat ook kan is dat

de opleiding aan de hand van een individuele schrijfopdracht vaststelt of de student

qua schrijfvaardigheid het gewenste niveau heeft. Aan de studenten die onder het

niveau blijken te zitten, kan extra taalles aangeboden worden. Om het taalniveau te

monitoren kan ook in de hoofdfase elk jaar een individueel, schriftelijk product worden

aangewezen, dat beoordeeld wordt op taal.

Referenties

• Allen, J. Robbins, S., Casillas, A. & Oh, I-S. (2008). Third-year college retention and transfer: Effects of

academic performance, motivation, and social connectedness. Research in Higher Education, 49(7), 647-

664.

• Ardasheva, Y., Tretter, T.R. & Kinny, M. (2012). English Language Learners and Academic Achievement:

Revisiting the Threshold Hypothesis. Language Learning, 62(3), 769-812.

• Dayioglu, M. & Turut-Asik, S. (2007). Gender differences in academic performance in a large public

university in Turkey. Higher Education, 53(2), 255-277.

• Deygers, B. & Kanobana, S. (2010). Taaltoetsen: waarom, wat en hoe? In: Peters, E. & Van Houtven, T. (Ed.),

Taalbeleid in het hoger onderwijs: de hype voorbij? (23-36). Leuven: Acco.

• Di Pietro, G. & Cutillo, A. (2008). Degree Flexibility and university drop-out: The Italian experience.

Economics of Education Review, 27(5), 546-555.

• Hovdhaugen, E. (2009). Transfer and dropout: different forms of student departure in Norway. Studies in

Higher Education, 34(1), 1-17.

• Lassibille, G. & Navarro Gamez, L. (2008). Why do higher education students drop out? Evidence from

Spain. Education Economics, 16(1), 89-105.

• Mulholland, J., Anionwu, E.N., Atkins, R., Tappern, M. & Franks, P. J. (2008). Diversity, attrition and transition

into nursing. Journal of Advanced Nursing, 64(1), 49-59.

• Sahragard, R., Baharloss, A. & Soozandehfar S.M.A. (2011). A Closer Look at the Relationship between

Academic Achievement and Language Proficiency among Iranian EFL Students. Theory and Practise in

Language Studies, 1(12), 1740-1748.

• Zeegers, P. (2007). Student learning in higher education: a path analysis of academic achievement in

science. Higher Education Research & Development, 23 (1), 35-56.

Suzanne van Stratum

Suzanne van Stratum studeerde Nederlandse taal- en letterkunde. Zij studeerde in

1997 af op de richting ‘Researchvariant vakdidactiek’. Haar eindonderzoek bestond

uit een kwalitatief onderzoek naar de behoeften aan leerplanontwikkeling van

docenten Nederlands. Sindsdien heeft zij zich fulltime bezig gehouden met onderwijs.

Eerst vanuit haar eigen bedrijf (Tekstbureau In de regel) waarvoor zij lesmateriaal

ontwikkelde en later als docent op de Hogeschool van Amsterdam (HvA), waar zij sinds

2005 werkzaam is. Daarnaast is Van Stratum auteur van een aantal studieboeken

voor het vak ‘communicatie’ of Nederlands in het mbo en hbo. In haar werk op de HvA

(opleiding Human Resource Management) begeleidt zij derdejaarsstudenten bij hun

praktijkonderzoek en is zij docent onderzoeksvaardigheden en overtuigend schrijven.

Sinds studiejaar 2014-2015 coördineert zij het taalbeleid op de opleiding. Dat betekent

dat zij de bevindingen uit dit onderzoek direct in de praktijk kan toepassen.

bio

grafi

e

139138

Motivatiefactoren in Japanse taalstudies

Dennis Thijssen

Samenvatting

Deze studie beschrijft een experiment dat in academisch jaar 2014-2015 heeft

plaatsgevonden aan de Zuyd Hogeschool, faculteit Oriëntaalse Talen en Communicatie,

opleiding Japans. De onderzoeksvraag die daarbij gesteld is luidt: ‘Kan de studiemotivatie

van studenten Japans als vreemde taal in het eerste jaar van een Hbo-opleiding Japans

in Nederland beïnvloed worden door leerdoelen te communiceren in een autonomie

ondersteunende of controlerende leeromgeving?’ Naar aanleiding van de uitkomsten

kan niet worden vastgesteld of het experiment effect heeft gehad. De voornaamste

verklaring voor het uitblijven van resultaten is de relatief kleine steekproefgrootte,

in combinatie met een hoog uitvalpercentage. Wel worden er naar aanleiding van de

uitkomsten enkele suggesties gegeven voor vervolgonderzoek.

Aanleiding

Het aantal studenten dat Japans als vreemde taal studeert is de afgelopen tien jaar

bijna verdubbeld en bedraagt inmiddels bijna 4 miljoen wereldwijd. Met de toename

van populariteit worden echter ook problemen steeds meer zichtbaar. Volgens een

onderzoek van de Japan Foundation (2012) was ‘gebrek aan studiemotivatie’ het op één

na grootste probleem in het moderne Japans taalonderwijs. Deze trend is ook zichtbaar

op de opleiding Japans aan de Hogeschool Zuyd. Alhoewel de opleiding de laatste jaren

ruim 100 nieuwe instromers per jaar mag verwelkomen gaat gemiddeld slechts 35% van

deze instroom naar het tweede studiejaar. Verschillende docenten constateren dat de

hoge uitval samenhangt met een verlies aan motivatie gedurende de studie, maar hier

is nooit onderzoek naar gedaan. Er is in het algemeen zeer weinig literatuur beschikbaar

voor studiemotivatie in Japanse taalstudies. Dit onderzoek heeft daarom als doel een

oplossing te zoeken voor de motivatieproblematiek op de opleiding Japans van de

Hogeschool Zuyd en tracht daarmee tevens een bijdrage te leveren aan het onderzoek

naar motivatie in Japanse taalstudies.

Opzet

De nieuwe eerstejaarsstudenten in academisch jaar 2014-2015 voor de studie Japans

(135 studenten) zijn willekeurig en gelijkmatig verdeeld over drie groepen: twee

experimentgroepen en één controlegroep. De twee experimentgroepen volgden,

gescheiden van elkaar, een reeks van tien extra lessen van 45 minuten per les bovenop

het reguliere studieprogramma. De controlegroep volgde geen extra lessen en mocht

141140

de tijd waarin die experimentgroepen aan de interventie deelnemen vrij besteden.

Gedurende de lessen die samen de interventie vormen gingen de experimentgroepen

een Japanse tekst verklaren die speciaal voor dit onderzoek is opgesteld. Deze tekst is

het medium waarmee geprobeerd wordt de motivatie van studenten te beïnvloeden.

Aangezien de deelnemers beginners zijn op het gebied van de Japanse taal is de tekst

aanvankelijk nog te moeilijk om in één keer te begrijpen, maar door middel van lees- en

schrijfoefening wordt de tekst steeds een beetje verder verklaard en is het de bedoeling

dat de studenten na tien lessen, verspreid over een periode van vier maanden, de tekst

grotendeels begrijpen. Om te zien of daarmee ook daadwerkelijk de studiemotivatie

verandert, vullen de deelnemers gedurende de interventie drie keer een vragenlijst

in over hun motivatie om Japans te leren : voor aanvang van de eerst les, na de vijfde

les en na afloop van de tiende les. Na een retentieperiode van vier maanden vulden de

deelnemers de vragenlijst nog een laatste keer in om eventuele langetermijneffecten te

kunnen vaststellen.

Design van de interventie

Het design dat achter de interventie schuilt gaat, kan omschreven worden als ‘motiveren

betekent de juiste taal spreken’. Uit de omvangrijke literatuur over motivatie blijkt dat

vooral studenten met intrinsieke motivatie meer kans hebben op studiesucces (Kondo-

Brown, 2006, Lam&Law, 2010). Intrinsieke motivatie wordt in de zelfdeterminatietheorie

omschreven als de drijfveer voor het ondernemen van (leer)activiteiten vanwege het

plezier of de voldoening die dat oplevert (Deci&Ryan, 2002). Met intrinsieke motivatie

wordt vaak in een adem extrinsieke motivatie genoemd. Dit is het type motivatie dat

voorkomt uit een extern doel dat los staat van de activiteit, zoals het verkrijgen van een

beloning of het vermijden van straf. Het type extrinsieke motivatie heeft een scala aan

subtypen, waarvan integratieve oriëntatie (het ondernemen van een activiteit om zich

te kunnen vereenzelvigen met een bepaalde gemeenschap) en instrumentele oriëntatie

(het ondernemen van een activiteit om voordelen te behalen die geen direct verband

hebben met de activiteit zelf) worden meegenomen in dit onderzoek.

Het concept ‘motivatie’ is een abstract begrip en kan daarom niet zonder meer in

directe zin beïnvloed worden. Wel kunnen de eigen ideeën over leren en daarmee het

studiegedrag van een student beïnvloed worden (Guay et al., 2001; Loyens et al, 2007).

Een manier waarop dat studiegedrag op zijn beurt weer beïnvloed kan worden is door

de manier waarop leerdoelen geformuleerd worden (Vansteenkiste et al, 2005). Als de

manier waarop leerdoelen opgesteld zijn de student veel autonomie geven, dan zal

de student eerder geneigd zijn deze vanuit een gevoel van intrinsieke motivatie uit te

voeren, terwijl bij een formulering op een controlerende manier de student eerder vanuit

een gevoel van extrinsieke motivatie zal handelen. Simpel gezegd: als een student ‘iets

mag’ zal hij meer intrinsieke motivatie opbouwen dan wanneer hij ‘iets moet’.

Bovenstaande theorie wordt tijdens de interventie in de praktijk gebracht door de toon

waarop de teksten, die de basis vormen voor de interventielessen zijn, geformuleerd.

Beide experimentgroepen ondergaan een interventie die in grote lijnen hetzelfde is:

er wordt gewerkt met een Japanse tekst die studie- en arbeidstoekomst schetst. Er

is echter een klein inhoudelijk verschil tussen beide groepen: in experimentgroep 1

is de tekst geformuleerd op een manier die veel keuze suggereert, terwijl de tekst in

experimentgroep 2 vooral veel verplichtingen schetst. Zie Tabel 1 voor een schematische

weergave van de interventie en verwachte resultaten. De resultaatmeting gebeurt

met een vragenlijst naar het voorbeeld van Taguchi et al. (2009), waarin studenten 34

stellingen over hun motivatie om Japans te leren beantwoorden op een schaal van 1

tot 5. Deze 34 vragen zijn door middel van factoranalyse herleid tot vier eenvoudige

concepten: intrinsieke motivatie, extrinsieke motivatie, integratieve oriëntatie en

instrumentele oriëntatie. Statistische analyse van de uitkomsten op deze vier concepten

wijst uit wat het effect is van de interventie.

Tabel 1

Schematische weergave van de interventie

Duur interventie Inhoud interventie Verwacht resultaat

Groep 1 (n=45) 10 keer 45 min. extra les Lezen van een Japanse tekst met bijbehorende schrijfoefeningen in een betekenisvolle leeromgeving met een autonomie ondersteunende karakter

Toename van intrinsieke motivatie

Groep 2 (n=45) 10 keer 45 min. extra les Lezen van een Japanse tekst met bijbehorende schrijfoefeningen in een betekenisvolle leeromgeving met een controlerend karakter

Significante toename van intrinsieke motivatie bij sterk gemotiveerde studenten en toename van extrinsieke motivatie bij zwak gemotiveerde studenten

Controlegroep (n=45) geen extra les Geen tekst of oefeningen;vrije tijd

Geen verandering in motivatie

143142

Resultaten

De uitkomsten van de vragenlijsten zijn aan diverse statistische analyses

onderworpen, zoals t-toetsen, ANOVA en regressieanalyse, om vast te kunnen stellen

of er daadwerkelijk een verandering op één of meerdere motivatiefactoren heeft

plaatsgevonden door de interventie. De belangrijkste daarvan was intrinsieke motivatie,

omdat dit meer studiesucces garandeert. Uit de statistische analyse is gebleken dat

er geen significant verschil was in intrinsieke motivatie tussen de studenten die de

interventie wel en niet hebben ondergaan. Pas als ook de variabele ‘intensiteit’ wordt

meegenomen in de analyse blijkt deelname een significante invloed te hebben op de

factor intrinsieke motivatie. Deze invloed is echter negatief: uit het resultaat lijkt het

beeld te ontstaan dat degenen die de interventie hebben ondergaan minder intrinsieke

motivatie hebben dan de controlegroep, wat precies het tegenovergestelde is van wat de

interventie beoogt te bereiken.

De meest waarschijnlijke verklaring voor het uitblijven van resultaat is uitval in

combinatie met zelfselectie effecten die in de controlegroep sterker waren dan in de

experimentgroepen. De steekproefgrootte was met 135 studenten al aan het begin

relatief klein en is door een drastische mate van uitval gedurende het experiment steeds

verder verkleind. Aan het eind van het experiment nam nog slechts de helft van het

oorspronkelijk aantal deelnemers deel, na de retentieperiode was dit verder afgenomen

naar een derde. Omdat er geen deelnameverplichting was, zijn waarschijnlijk vooral in

de controlegroep de meest gemotiveerde studenten trouw blijven deelnemen aan de

resultaatmeting, waardoor de controlegroep op den duur niet meer vergelijkbaar was

met de experimentgroep.

Wel kon middels statistische analyse vastgesteld worden dat degenen die zijn

uitgevallen al aan het begin van het experiment significant meer extrinsieke motivatie

hadden ten opzichte van degenen die niet uitgevallen zijn en dat studenten met MBO

als vooropleiding significant slechter scoorden op Japanse taaltentamens dan studenten

met HAVO als vooropleiding. Dit is echter niet het antwoord op de onderzoeksvraag van

dit experiment en deze conclusies moeten daarom vooral gezien worden als bijvangst.

Conclusie

Aan de hand van de resultaten in dit experiment kan niet worden vastgesteld of de

interventie effect heeft gehad. Dit is vooral te wijten aan de kleine steekproefgrootte

in combinatie met uitval, waardoor er aan het einde van het experiment te weinig

deelnemers overbleven om betrouwbare resultaten te kunnen vaststellen. Er zijn drie

mogelijke scenario’s voor een vervolg op dit experiment: (1) het experiment op grotere

schaal implementeren om de effecten van een kleine steekproefgrootte tegen te gaan,

(2) een vervolgexperiment doen dat zich niet richt op het vergroten van intrinsieke

motivatie van deelnemers maar het verkleinen van de negatieve effecten van extrinsieke

motivatie bij potentiële uitvallers, (3) een nieuwe interventie ontwerpen die zich richt op

verschillen tussen studenten met MBO en studenten met HAVO als vooropleiding.

Referenties

• Bruning, R. & Horn, C. (2010). Developing motivation to write. Educational Psychologist. 35(1), 25-37

• Deci, E. & Ryan, R. (2002). Overview of Self Determination Theory: an organismic dialectical perspective.

Handbook of Self Determination Research. Rochester: University of Rochester Press.

• Guay, F., Boggiano, A. & Vallerand, R. (2001). Autonomy Support, Intrinsic Motivation, and Perceived

Competence: Conceptual and Empirical Linkages. Personality and Social Psychology Bulletin, 27, 643-650

• Japan Foundation (2012). Survey Report on Japanese-Language Education Abroad 2012. Tokyo: Kuroshio

Publishers.

• Kondo-Brown, K. (2006, april). Affective variables and Japanese L2 reading ability. Reading in a Foreign

Language, 18(1)

• Lam, S. & Law, Y. (2010). The Roles of Instructional Practices and Motivation in Writing Performance. The

Journal of Experimental Education, 75(2), 145-164

• Loyens, S., Rikers, R. & Schmidt, H. (2007, oktober). The impact of student’s conceptions of constructivist

assumptions on academic achievement and drop-out. Studies in Higher Education, 32(5), 581-602

• Taguchi, T., Magid, M. & Papi, M. (2009, januari). The L2 Motivational Self System among Japanese,

Chinese and Iranian Learners of English: A Comparative Study. In Z. Dörnyei, E. Ushioda (Eds.), Motivation,

Language Identity and the L2 Self (pp. 66-97). Bristol: Multilingual Matters.

• Vansteenkiste, M., Simons J., Lens W., Soenens, B. & Matos, L. (2005, maart/april). Examining the

Motivational Impact of Intrinsic Versus Extrinsic Goal Framing and Autonomy-Supportive Versus Internally

Controlling Communication Style on Early Adolescents’ Academic Achievement. Child Development, 76(2),

483-501

145144

Dennis Thijssen

Dennis Thijssen studeerde Japans aan de opleiding Oriëntaalse Talen en Communicatie

van Zuyd Hogeschool te Maastricht. Na een vervolgstudie te hebben gedaan in Japan

en enkele jaren werkzaam te zijn geweest in het internationale bedrijfsleven keerde

hij terug naar de Hogeschool Zuyd als docent Japans. Vanuit zijn eigen achtergrond als

student Japans ging hij na zijn aantreden als docent op zoek naar een oplossing voor de

motivatie- en uitvalproblematiek bij de opleiding Oriëntaalse Talen en Communicatie,

wat hem naar de MEBIT opleiding bracht. In de toekomst zal hij zich blijven inzetten

om de wereldwijde motivatieproblematiek bij het leren van Japans als vreemde taal te

bestrijden.

bio

grafi

e

147146

Maakt de mentor het verschil?

De invloed van meer feedbackmomenten in studieloopbaanbegeleiding op studie-uitval in de propedeuse

Jeannemiek Timmermans

Samenvatting

In deze studie wordt een experimenteel onderzoek beschreven gericht op het

effect van studieloopbaanbegeleiding (verder SLB te noemen) op studie-uitval

in de HBO-propedeuse. Uit studies blijkt dat niet één enkele, maar een aantal

samenhangende factoren leidt tot uitval. Vanuit dat perspectief kan de functie van

studieloopbaanbegeleider (verder slb-er te noemen) het verschil maken, omdat die

vanuit de rol van begeleider en coach de complexiteit van een dergelijk proces kan

aangaan.

In het onderzoek zijn elementen die succesvol gebleken zijn, zoals meer

feedbackmomenten, toegevoegd aan een regulier SLB-programma. Het blijkt dat het

verschil in uitval tussen de interventiegroep en de controlegroep met een P waarde

van 0,098 significant is op 10% niveau. Studenten in de interventiegroep, in een SLB

programma met meer feedbackmomenten, vallen 5,5 % minder uit vergeleken met

studenten in de controlegroep. Studenten met een laag gemiddeld cijfer hebben de

meeste baat bij SLB. Ook mannelijke studenten hebben significant meer voordeel van

de interventie vergeleken met vrouwelijke studenten. Deze bevindingen bevestigen het

beeld dat uit de literatuur naar voren komt. Verder blijken de kenmerken ‘geslacht’ en

‘ervaring’ van de slb-er van belang. Vrouwelijke slb-ers en slb-ers met meer dan 3 jaar

ervaring halen hogere rendementen. Deze bevindingen pleiten voor doelgroepenbeleid

in studieloopbaanbegeleiding en een zorgvuldige selectie van slb-ers.

Aanleiding

Binnen het HBO neemt de instroom jaarlijks toe. Die toenemende instroom leidt echter

niet tot een evenredige uitstroom na 4 jaar. Gemiddeld 36% van de instromende

studenten valt binnen een jaar uit (Inspectie van het onderwijs, 2012) en het totale

propedeuserendement (na 2 jaar) schommelt binnen veel opleidingen, ook binnen de

HAN, rond de 50% (HAN, 2013). Deze hoge uitval is vanuit verschillende perspectieven

onaanvaardbaar hoog: economisch omdat er kosten gemaakt worden waar geen

opbrengsten tegenover staan en vanuit maatschappelijk perspectief omdat Nederland

meer hoger opgeleiden nodig heeft om een kenniseconomie te realiseren. Een toename

van hoger opgeleiden heeft daarnaast positieve gevolgen voor de economie en de

gezondheidszorg in een land, omdat mensen met een hogere opleiding meer verdienen

en verhoudingsgewijs minder snel een beroep doen op de gezondheidszorg en de

sociale zekerheid (Groot, Huang en Maassen van den Brink, 2011). De individuele

student ten slotte kan door vroegtijdige uitval gedemotiveerd raken en een slechter

toekomstperspectief krijgen.

149148

Studie-uitval in de propedeuse wordt beïnvloed door een samenspel van verschillende

factoren, deels studentgebonden, zoals persoonlijkheid, aanwezige sociale en

academische vaardigheden en opleidingsniveau van ouders (Feltzer &Rickli, 2009).

Belangrijke opleidingsgebonden factoren zijn informatievoorziening, het bevorderen

van een positieve sociale en academische integratie (Tinto, 1975) en het bevorderen van

onderlinge binding van studenten door het creëren van gemeenschappelijke normen en

waarden (Astin,1999). Vooral in beide laatste benaderingen kan ‘mentoring’ of SLB een

instrument zijn om uitval tegen te gaan. Studies bevestigen het idee dat SLB invloed

heeft op uitval, onduidelijk is echter in hoeverre SLB effectief is, welke elementen vooral

effectief zijn en welke studenten de meeste baat hebben bij SLB. Een onderzoek gericht

op deze vragen kan duidelijk maken wat de mentor/slb-er moet doen om het verschil te

maken.

Opzet onderzoek

Binnen de gemeenschappelijke propedeuse van het instituut Bedrijfskunde van de HAN

is een experimenteel onderzoek uitgevoerd waarbij de controlegroep het bestaande

SLB programma heeft gevolgd en de interventiegroep het bestaande programma plus

een extra programma. Aan het experiment deden 11 groepen mee ( N=343) die in

september 2013 gestart zijn met de propedeuse. Zij zijn 5 maanden gevolgd tot aan het

einde van semester 1 (1 februari 2014). De studenten zijn in klassen geplaatst op basis

van opleidingsvoorkeur en daarbinnen willekeurig toegewezen. Er is alleen rekening

gehouden met een evenwichtige verdeling van mannen en vrouwen. De 11 deelnemende

slb-ers zijn eveneens willekeurig toegewezen aan de verschillende groepen. De slb-

ers in de controlegroep kregen in tegenstelling tot de slb-ers in de interventiegroep

vooraf geen informatie over de inhoud en de doelstellingen van het onderzoek. Ook is

beperkt informatie gegeven over de te onderzoeken meeteffecten. Er is een voormeting

gedaan waarbij aan alle studenten aanvullende informatie is gevraagd met betrekking

tot verschillende kenmerken, bijvoorbeeld het gemiddeld eindexamencijfer en het

opleidingsniveau van de ouders.

Interventie

In de volgende tabel (Tabel 1) worden de SLB programma’s van de interventie en de

controlegroep vergeleken. Bij de interventiegroep zijn drie elementen aan het bestaande

SLB-programma toegevoegd. Studenten kregen feedback in een eerder stadium, er

waren meer momenten van feedback en ook werd studenten gevraagd te reflecteren op

de verkregen feedback. Studenten krijgen niet alleen feedback op resultaten, maar ook

op houding en gedrag. In het kader van de interventie is het van belang dat studenten

in de interventiegroep, vergeleken met de controlegroep, eerder feedback krijgen (na 3

weken in tegenstelling tot na 8 weken) en moeten reflecteren op de verkregen feedback.

De inhoud van de interventie vloeit voort uit een behavioristische visie op leren. Daarin

wordt het belang van feedback onderstreept vanwege de bekrachtiging van ‘positief’ en

‘negatief’ gedrag, maar vooral omdat uit een bekrachtiging van positief/passend gedrag

een positief leerproces kan voortvloeien (Hattie en Timperley, 2010). Doel is het creëren

van een continue cyclus van oefenen en feedback, gericht op de ontwikkeling van kennis

en vaardigheden. Daarmee kan de leerprestatie verbeterd worden. Volgens Hattie (2010)

is feedback daarvoor een krachtig mechanisme.

Samenvattend is de interventie gericht op het toevoegen van het element feedback op

houding en resultaten, het vergroten van de contactmomenten tussen student en slb-er

en het bevorderen van reflectie op het eigen leerproces bij de student. De verwachting

is dat daarmee de sociale en academische integratie van studenten versneld en vergroot

wordt.

Tabel 1

Vergelijking SLB programma’s in huidige en nieuwe situatie

Huidige situatie(controle groep)

Nieuwe situatie(interventiegroep)

Interventie(verschil)

Periode 5 maanden 5 maanden

Aantal contactmomenten

14x1,5 uur klassikale lessen trainingen

14x1,5 uur Klassikale lessen trainingen

Feedbackmomenten 1x (week 8/9) 3x (week 3, 8/9 en 14) 2x feedback

Reflectie door student

1x (week 8/9) 3x (week 3, 8/9 en 14) 2x reflectie

Vaste individuele contacten SLBer/student

2x (week 3 en 8/9) 4x (week 3, 8/9 en 14) 2x individueel contact

Thema’s Klassikale lessen

Kennismaken, voorlichting, ontwikkeling studievaardigheden

Kennismaken, voorlichting, ontwikkeling studievaardigheden

Thema’s individuele contacten

Kennismaken, studievoortgang, feedback

Kennismaken, studievoortgang, feedback op gedrag, feedback op studievoortgang en op reflectie van student

Feedback op houding en gedrag, op studievoortgang en op reflectie van student

151150

Resultaten

Bij de analyse van de data blijkt het problematisch te zijn dat de data niet compleet

zijn. Van alle deelnemers is een aantal kenmerken bekend (geslacht, vooropleiding

en leeftijd). De achtergrondkenmerken, verkregen uit de voormeting, zijn echter niet

compleet omdat met name in de controlegroep ongeveer 100 van de 343 enquêtes

niet zijn ingevuld wegens ziekte of een gebrek aan medewerking van de betreffende

slb-ers. Omdat dit verstorend werkt op verdere statistische analyses, is onderzocht hoe

de interventie-en de controlegroep zich tot elkaar verhouden als de deelnemers waarvan

weinig of geen achtergrondkenmerken bekend zijn, verwijderd zijn. Deze nieuwe

database van 218 studenten blijkt goed in evenwicht te zijn, waarmee de willekeurige

toewijzing als geslaagd kan worden beschouwd.

In totaal zijn 14 van de 218 studenten uitgevallen tijdens de onderzoeksperiode, met

meer uitval in de controlegroep (9,2%) dan in de interventiegroep (3,7%). Tabel 2 laat zien

dat het verschil in uitval tussen de interventie en de controlegroep met een P waarde van

0,098 significant is op 10% niveau.

Tabel 2

Resultaat (uitkomstvariabele uitvalniet)

Controlegroep Interventiegroep

Gem. Standaard afwijking

Gem. Standaard afwijking

Verschil P waarde

0,908 0,290 0,963 0,189 -0,055 0,098*

N=218 | * Significantie op 10% niveau

De interventie heeft een significant effect opgeleverd van 5,5 %. Dat betekent

dat studenten in de interventiegroep 5,5 % minder uitvallen dan studenten in de

controlegroep. Ook bij het toevoegen van controlevariabelen in de regressieanalyse blijft

het effect rond de 5%.

Verder is onderzocht of er een relatie is tussen dit effect en kenmerken van studenten en

slb-ers. Met betrekking tot studentkenmerken is de relatie tussen geslacht, hoog/laag

gemiddeld cijfer en MBO/niet-MBO onderzocht. De regressieanalyse laat zien dat SLB

vooral effect heeft op studenten met een GPA lager dan 7, in de interventiegroep vallen

zij bijna 7% minder uit vergeleken met de controlegroep (bijna 2%). Mannen hebben

veel voordeel van SLB. Zij vallen bijna 95% minder uit vergeleken met de mannen in de

controlegroep. Dit effect is groter dan het effect van de interventie op de totale groep

deelnemers. Kenmerken van de SLB-er die onderzocht zijn in relatie tot de interventie,

zijn het geslacht en de ervaringsjaren (meer of minder dan 3 jaar). Het blijkt dat

vrouwelijke slb-ers en slb-ers met meer dan 3 jaar ervaring hogere rendementen halen.

Conclusie en aanbevelingen

De interventie heeft effect gehad. Een SLB-programma met meer contactmomenten

tussen de student en de docent en meer feedback leidt tot significant minder uitval (

0,055%, significant op 10% niveau in een eenzijdige toets).

Er zijn verschillen te zien in effecten op deelgroepen, afhankelijk van student- en

slb kenmerken. Daarom zijn aanbevelingen gericht op differentiatie binnen SLB

programma’s. Programma’s gericht op mannelijke studenten en studenten met een

laag GPA zullen meer opleveren dan een programma dat voor alle studenten gelijk is.

Studenten met een hoog GPA en vrouwelijke studenten hebben mogelijk geen standaard

programma nodig, maar kunnen via een vraaggestuurd programma benaderd worden.

Succesvolle kenmerken van slb-ers kunnen gebruikt worden bij de inzet van slb-ers. Het

lijkt zinvol om docenten meerdere jaren slb-er te laten zijn. Daarmee wordt ervaring

opgebouwd die zich uitbetaalt in een hoger rendement.

Referenties

• Astin, A.W. (1999). Student involvement: a developmental theory for higher education. Journal of college

student development, 40(5), 518-529

• Campbell, D.E. & Campbell, T.A. (1997). Faculty student mentor program effects on academics performance

and retention. Research in higher education, 38 (6) 727-740

• Colalillo, G. (2007). Mentoring as a retention strategy in a diverse, multicultural, urban associate degree

nursing program. Teaching and learning in nursing, april 2007,2 (2), 28-33

• Crisp, G. & Cruz, I. (2008). Mentoring college students: A critical review of the literature between 1990 and

2007. Research in Higher education, 50, 525-545

• Glogowska, M., Lockyer, L. & Young, P. (2007). Should I go or should I stay? Active learning in higher

education, maart 2007, 8 (1), 63-77

• Huang, J., Maassen van den Brink, H. & Groot, W., (2011). College Education and social trust: an evidence-

based study on the causal mechanisms. Social Indicators Research, Springer, 2011,104(2), 287-310

• HAN. (2013).IMI rendement propedeuse. In H.v.A. e. Nijmegen (Ed.). Arnhem

• Inspectie van het Onderwijs. (2012). Onderwijsverslag 2010/2011

153152

• Kinzie, J., Kuh, G.D., Schuh, J.H. & Whitt, E.J. (2005). Never let it rest: Lessons about student success from

high-performing colleges and universities. Change, 37(4), 44-51

• Olani, A. 2009. Predicting First Year University Student’s Academic Success. Electronics Journal of research

in Educational psychology, 7(3), 1053-1072, 2009(19)

• Feltzer, M.J.A. & Rickli, S.G. (2009). De invloed van persoonlijkheidskenmerken en andere factoren op

studie-uitval in het hoger onderwijs. Rapport Departement Psychologie en gezondheid, Universiteit van

Tilburg, maart 2009

• Tinto, V. (1975). Drop-out from higher education: a theoretical synthesis of recent research. Review

of educational research, winter 1975, 45 (1), 89-125

• Valcke, Martin ( 2010 ). Onderwijskunde als ontwerpwetenschap, een inleiding voor ontwikkelaars en

voor toekomstige leerkrachten. Academia press, Gent

Jeannemiek Timmermans

Jeannemiek Timmermans is docent bij de opleiding HRM van de Hogeschool van Arnhem

en Nijmegen. Als lid van de curriculumcommissie van de opleiding is zij betrokken bij

onderwijsontwikkeling binnen de opleiding en is zij cluster coördinator. Ook coördineert

zij de minor effectief leidinggeven. Verder is zij als docent-lid actief in interne audit-

teams binnen de HAN.

bio

grafi

e

155154

Effecten van coöperatief versus traditioneel lesgeven

Robert Tobben

Samenvatting

In het onderzoek wordt onder de noemer ‘leren op maat’ gekeken wat de mogelijkheden

voor gedifferentieerd lesaanbod zijn met hierbij de centrale vraag of coöperatief

lesgeven vergeleken met traditionele lessen op het gebied van toets prestaties,

sociaal-emotioneel functioneren en qua perceptie van de leerling op lesdifferentiatie

en didactisch lesaanbod voor een meerwaarde kan zorgen. Een kanttekening vanuit de

literatuur, zoals onder andere in Teaching and Learning International Survey uit 2009 is

dat gedifferentieerd lesaanbod een theoretisch streven is wat niet altijd strookt met de

mogelijkheden uit de dagelijkse onderwijspraktijk. Het onderzoek werd in schooljaar

2012-2013 uitgevoerd met 392 leerlingen en 50 docenten.

Inleiding

De metingen met betrekking tot de interventiegroep vergeleken met de controlegroep

levert voor alle vier de items kleine tot matige effectgrootte op. Positieve effecten

voor schoolse prestaties en lesdifferentiatie, enkele positieve en negatieve effecten op

sociaal-emotioneel vlak en op het gebied van verschillen in didactisch lesaanbod. In het

onderzoek wordt naast dit ook gekeken of bij de interventie- en controlegroep verschillen

zitten door diverse samenhangende variabelen van leerlingen plus de verscheidende

percepties over de wijze van het lesaanbod tussen leerlingen en docenten.

Aanleiding van het onderzoek

In de studie staan coöperatief lesgeven, het aanbod van lesdifferentiatie en

determinanten die hier een effect op kunnen hebben centraal. Veel onderzoeken

in de literatuur hadden als lacune dat deze studies niet experimenteel of niet in

Nederland uitgevoerd waren, waardoor één op één overzetting naar het Nederlandse

onderwijssysteem niet reëel zou zijn. Literatuur met studies die naar lesdifferentiatie

en determinanten zijn gedaan, waren niet in combinatie met coöperatieve

samenwerkingsprocessen.

Coöperatief lesgeven in de literatuur

Op basis van een meta-analytische studie onderzochten Murawski en Swamson

(2001; vermeld in Hang en Rabren, 2009) bij docenten de effecten van co-teaching. De

157156

conclusies waren met een effect van 0.40 hiervoor matig positief. In een onderzoek

van Kohler-Evans (2006) gaf de meerderheid van docenten aan niet eerder de intentie

tot coöperatief lessen te hebben gehad. 77% Constateerde positieve toets prestaties.

Wilson en Michaels (2006) onderzochten de perceptie op coöperatieve lessen. Dit gaf

een positieve uitslag. Behalve betere resultaten gaven de leerlingen aan graag deze

lesvorm te willen continueren. Onderzoek naar de effecten van coöperatieve lessen op de

perceptie van leerlingen en docenten van Hang en Rabren (2009) liet zien dat leerlingen

met een motorische handicap de lessen als intensief ervaren maar dat deze aanpak

positief resultaat opleverde. Ook de leerlingen zonder motorische handicap stelden dat

coöperatief lesgegeven vergeleken met eerdere traditionele lessen interessanter waren.

Diverse studies uit de literatuur zijn gericht op de effecten van coöperatieve lessen maar

niet alle metingen geven succesresultaten aan. Zo ging Linz, Heater en Howard (2008)

de effecten na bij docenten tijdens coöperatief lesgeven in verschillende vakgebieden.

Bij de metingen op toets prestaties waren deze het gunstigst bij de docenten met de

beste planning en organisatie. Zo constateerde eerder genoemde Kohler-Evans (2006)

dat bij coöperatieve samenwerking veelal problemen ontstonden tussen ervaren en

minder ervaren docenten. In de studie van Linz, Heater en Howard (2008) was het de

schoolleiding die gerichte leidraad voor de docenten uitzette waardoor de kans tot niet

slagen verkleind werd. Een veel terugkomende stelling in de literatuur is dan ook dat de

‘believe’ van coöperatieve lessen van groot belang en bepalend is voor de slaagkans.

Determinanten in de literatuur

Het tweede gedeelte van het onderzoek is gericht op de samenhangende variabelen.

Hierbij werd gekeken welke zij-invloeden verschil maakten bij coöperatief en traditioneel

lesaanbod. In de metingen werd opgenomen: geslacht, leeftijd, doubleren P.O., klas

overgeslagen P.O., locatie P.O., woonplaats, etniciteit, gezinssituatie, broers en zussen,

broers en zussen op huidige school, P.O. oud-klasgenoten op huidige school, CITO

eindscore P.O. en zorgindicatie. De literatuur levert veel studies over de effecten van

determinanten. Hiaat voor eigen studie was dat deze geen van allen in combinatie met

coöperatief lesgeven waren. Het gaat er specifiek om of de metingen op determinanten

verschil in effect tonen op de onderzoeksvragen.

Onderzoeksvragen

1 Wat zijn de effecten van coöperatief lesgeven in vergelijking met traditioneel

lesgeven op de toets prestaties, het sociaal-emotioneel functioneren op school en de

opvattingen van de brugklassers ten aanzien van het gebruik van lesdifferentiatie en

didactische werkvormen in de klas?

2 Veranderen de effecten van coöperatieve en traditionele lessen op de toets prestaties,

het sociaal-emotioneel functioneren op school en de opvattingen van de brugklassers

ten aanzien van het gebruik van lesdifferentiatie en didactische werkvormen in de klas

door samenhangende variabelen van leerlingen?

3 Zijn er significante verschillen door determinanten in de meting van onderzoeksvraag

1 in samenspel met de afhankelijke variabelen uit onderzoeksvraag 2 aan te tonen?

4 Zijn er bij leerlingen en docenten verschillen in perceptie ten aanzien van het gebruik

van lesdifferentiatie en didactische werkvormen in de klas?

Onderzoeksmethode

In het experimenteel onderzoek waren de havo/vwo brugklassen van Het College en

Philips van Horne de interventie- en controlegroep. Op de scholen werd lesdifferentiatie

als schoolvisie aangeboden. Deelnemers waren 224 leerlingen plus 27 brugklasdocenten

van de interventiegroep en 168 leerlingen plus 23 brugklasdocenten van de

controlegroep. Met een afstand van 2.9 kilometer van elkaar liggen de scholen in de

Nederlands Limburgse plattelandsstad Weert. Voor de leerlingen en docenten werd in de

poweranalyse de significatiegrens van 5% als nulhypothese aanvaard. Tabel 1 en Tabel 2

geven de beschrijvende statistieken van de achtergrondkenmerken voor de deelnemende

leerlingen en docenten weer.

Tabel 1

Beschrijvende statistieken voor de achtergrondkenmerken van de deelnemende

leerlingen

N Minimum Maximum M SD

Jongens 392 0,00 1,00 0,57 0,47

Leeftijd 392 10,93 14,64 0,40 0,49

Schoolloopbaan P.O. (zelfrapportage doubleren)

380 0,00 1,00 0,09 0,29

159158

Schoolloopbaan P.O. (zelfrapportage overslaan)

380 0,00 1,00 0,07 0,25

Locatie P.O. 383 0,00 2,00 0,42 0,49

Woonplaats Weert 381 0,00 2,00 0,45 0,50

Etniciteit 382 0,00 2,00 0,12 0,33

Gezinssituatiestatus (ouders) 382 0,00 2,00 0,16 0,37

Broer(s) en/of zus(sen) 379 0,00 1,00 0,91 0,28

Broer(s) en/of zus(sen) op school 379 0,00 1,00 0,34 0,47

Oud klasgenoten op school 381 0,00 1,00 0,77 0,42

CITO eindscore P.O. 382 535 550 542,01 9,90

Zorgindicatie 379 0,00 1,00 0,16 0,36

Tabel 2

Beschrijvende statistieken voor de achtergrondkenmerken van de deelnemende

docenten

N Minimum Maximum M SD

Mannen 50 0,00 1,00 0,28 0,45

Leeftijd 50 21,41 63,18 43,14 12,57

In het onderzoek zijn de leerlingen vanwege een te hoge aanmelding op de

interventieschool notarieel random verdeeld over de beide scholen. De random verdeling

zorgt voor een betrouwbare vergelijkbaarheid tussen interventie- en controlegroep.

Interventie

De interventiegroep startte in augustus 2012 met de havo/vwo brugklassen in alle

theorievakken plus enkele praktijkvakken. Dataverzameling in het onderzoek zoals in

Figuur 1 weergegeven.

De interventie vond plaats in grote open domeinen waar meerdere docenten

de mogelijkheid hadden om coöperatief aan meerdere klassen les te geven. De

domeinen werden ingeroosterd met twee of drie docenten (waarbij enkele praktijk

vakken gedeeltelijk of permanent bijgestaan werden door onderwijsassistenten).

Mogelijkheden van de multifunctionele domeinen was uitleg aan de gehele groep,

kleine collegeruimten-instructies, werken in groepjes, duo’s en individueel. Bij veel

docenten is de opzet dat ze eerst de leerlingen instrueerden waarna de leerling zelf in

duo’s of groepjes aan de slag ging. Voor het onderzoek fungeerde de Philips van Horne

als controlegroep en werd er in traditionele setting in één klaslokaal door één docent

onderwezen. Het gedifferentieerd onderwijsaanbod bestond uit persoonlijke aandacht

bij verdieping van extra lesstof, extra, verschil in huiswerk of andere lesstof wanneer de

leerling klaar was in de les.

Figuur 1

Dataverzameling gegevens interventie- en controlegroep onderzoek

Leerlingenkenmerken

Sociaal-emotioneel

Toetsprestaties

Toetsprestaties

Leerlingen-PerceptieDidactischewerkvormen

Leerlingen-Perceptie differentiatie

augustus

Interventietijdpad leerlingen

oktober

Resultaten interventie

De toets prestaties zijn de meest opvallende effecten uit het onderzoek. De twee

effecten die hier terug te vinden zijn hadden voor november 2012 (t = 5,85; p = 0,00)

een gestandaardiseerd verschil van 0,48 in cijfer met een matige positieve effectgrootte

van 0,30. In juni 2013 (t = 7,35; p = 0,00) was het gestandaardiseerde verschil tot

0,59 opgelopen in het cijfer met een matige positieve effectgrootte van 0,36. Dat de

interventie geen open deur was bleek uit de metingen op sociaal-emotioneel vlak.

Opmerkelijk was dat na controle van de achtergrondkenmerken de volgende verschillen

tussen beide groepen significant waren: huiswerkattitude (t = -2,74; p = 0,01) en sociaal

aanvaard voelen (t = -2,80; p = 0,01). De gestandaardiseerde verschillen bedroegen beide

geen positieve, maar een kleine negatieve effectgrootte van -0,15 voor huiswerkattitude

en voor sociaal aanvaard voelen een kleine negatieve effectgrootte van -0,16.

161160

De schoolvisie lesdifferentiatie gaf (t = 3,27; p = 0,00) voor de interventieschool een

kleine positieve effectgrootte van 0,18.

Voor de didactische werkvormen groepswerk (t = 7,76; p = 0,00) werd in het onderzoek

het hoogste en ook positieve effectgrootte van 0,40 gemeten.

De klassikaal didactische werkvorm (t = -2,89; p = 0,00) liet een negatieve effectgrootte

van -0,16 en voor zelfstandig werken (t = -1,84; p = 0,07) een negatieve effectgrootte van

-0,10 zien.

Resultaten interventie * determinanten

Bij de interventie in combinatie met toets prestaties was er in juni 2013 een kleine

positieve effectgrootte bij de leeftijd (12.50 jaar en ouder) (t = -2,40; p = 0,02) van 0,19,

een kleine positieve effectgrootte voor de CITO eindscore P.O. 542,01 punt en hoger

(t = 2,71; p = 0,01) met een kleine positieve effectgrootte van 0,21 en een kleine

negatieve effectgrootte van -0,16 voor broers en zussen op school (t = -2,01; p = 0,05).

Bij de sociaal-emotionele determinanten werd alleen bij concentratie in de klas bij oud

klasgenoten P.O. in de klas (t = 2,05; p = 0,04) een kleine positieve effectgrootte van 0,26

gevonden. Voor concentratie in de klas (zorg)indicatie (t = 2,98; p = 0,00) was dit een

kleine positieve effectgrootte van 0,23.

Voor lesdifferentiatie (t = 2,48; p = 0,01) gold bij gender een kleine positieve effectgrootte

van 0,25.

Bij de didactische werkvormen duo-werk CITO eindscore P.O. (t = 1,97; p = 0,05) was dit

een kleine positieve effectgrootte van 0,17. De didactische werkvorm groepswerk liet bij

etniciteit (t = 3,50; p = 0,00) een kleine negatieve effectgrootte van -0,26 zien. Voor de

didactische werkvorm duo-werk oud klasgenoten (t = -2,11; p = 0,04) kwam dit op een

kleine negatieve effectgrootte van -0,27 uit.

Conclusies

Opvallende zaken die in het onderzoek naar voren kwamen lagen geconcentreerd in

de toets prestaties. Van de drie hoogst gemeten effectgrootte waren hier twee terug

te vinden. Bij de interventie- als wel de controlegroep daalde de gemiddelde cijfers

tussen de metingen in november 2012 en juni 2013. Dit was bij de interventie met de

coöperatieve lessen in mindere mate. Bij beiden werd een matige effectgrootte gemeten.

De derde matige effectgrootte voor de interventie was bij lesdifferentiatie al dan niet

in combinatie met de didactische werkvorm groepswerk. Dit is een belangrijk item

bij beide onderzoeksgroepen met het oog op lesdifferentiatie leidend tot individuele

(talent)ontwikkeling. Het aanbod van co-teaching gaf op sociaal-emotioneel vlak

geen positief maar juist een klein negatief effect. De laatste meting die aan bod

kwam waren de didactische vaardigheden. Hier was er in de groep met de interventie

bij groepswerken (werken in groepjes met vier of vijf leerlingen) een kleine positieve

effectgrootte. Voor het klassikale lesaanbod viel de meting met een kleine effectgrootte

negatief uit. Een mogelijke logica hierbij kan zijn dat deze werkvorm bij lesdifferentiatie

in de interventiegroep door twee of meerdere docenten gegeven minder gehanteerd

wordt. Ondanks de positieve effecten in het onderzoek in zijn geheel genomen werden

er ook enkele negatieve effecten geconstateerd. Daarnaast waren ook binnen de

interventie * determinanten verschillen te zien. Gegronde keuze tot co-teaching of

geen co-teaching zal naast school-praktische zaken gebaseerd op de leerlingpopulatie

gericht op lesdifferentiatie zijn. Uit de studies voor het onderzoek bleek dat vooral de

samenwerking en het believe van de coöpererende docenten een bepalende slaagfactor

heeft. Leidinggevenden zullen een gerichte strategie moeten opzetten voor de vorm van

co-teaching en hoe dit als gemeengoed onder het personeel te krijgen is.

Referenties

• Van Cooten, E.S. & Bergen, C.T.A. (2009). Teaching and learning international survey (TALIS) National

Rapport: Eindrapport. Retrieved from http://www.oecd.org/edu/talis

• Hang, Q. & Rabren, K. (2009). An examination of co-teaching: Perspectives and efficacy indicators.

Remedial and Special Education, 30, 259-268. doi: 10.1177/0741 932508321018

• Linz, E., Heater, M.J. & Howard, L. (2008). Team teaching high school science: Game plan for success.

Teaching exceptional children plus, 5, 2-8.

• Kohler-Evans, P.A. (2006). Co-teaching: How to make this marriage work in front of the kids. Education,

127, 260-264.

• Murawski, W.W. & Swanson, H.L. (2001). A meta-analysis of co-teaching research: Where are the data?

Remedial and Special Education, 22, 258-268. doi: 10.1177/074193250102200501

• Wilson, G.L. & Michaels, C.A. (2006). General and special education students’ perceptions of co-teaching:

Implications for secondary-level literacy instruction. Reading and Writing Quarterly, 22, 205-225. doi:

10.1080/10573560500455695

163162

Robert Tobben

Robert Tobben (1970) is afgestudeerd als docent tekenen en kunstgeschiedenis

eerstegraads in Utrecht en sinds 1997 werkzaam in het onderwijs. Vanaf die tijd

lesgevend geweest in de vakken Nederlands, beeldende vorming, handvaardigheid,

tekenen, onderzoeken & ontwerpen en culturele en kunstzinnige vormgeving.

Tegenwoordig werkzaam onder de stichting LVO voor Weert Breed. Eerst aan Het

College en later bij Philips van Horne Scholengemeenschap. Beide scholen zijn tevens de

interventie- en controlegroep voor de studie.

bio

grafi

e

Top Institute for Evidence Based Education Research (TIER)

Het Top Institute for Evidence Based Education Research (TIER) is een interuniversitair

instituut dat onderzoek doet op het gebied van ‘evidence based onderwijs’. Het

instituut kent drie partners: Universiteit van Amsterdam, Universiteit Maastricht en de

Rijksuniversiteit Groningen.

De onderzoeksgroep heeft ambitieuze doelstellingen. TIER wil bijdragen aan verbetering

van de kwaliteit van het onderwijs in Nederland door te bevorderen dat ‘evidence based’

leidraad wordt in onderwijsbeleid en -praktijk. Het wil dit bereiken door het ontwikkelen

van op wetenschappelijk onderzoek en wetenschappelijke inzichten gebaseerde

(kosten-)effectieve onderwijsinterventies.

Doel van het instituut is het verrichten van excellent wetenschappelijk onderzoek en

de resultaten van dit onderzoek ten dienste stellen van en bruikbaar maken voor de

onderwijspraktijk en het onderwijsbeleid. Het instituut wil kennis over ‘evidence based

onderwijs’ ontwikkelen die gebruikt kan worden door 1) OCW in de beleidsvoorbereiding

en -evaluatie, 2) de onderwijspraktijk – zoals leraren en onderwijsinstellingen – bij de

allocatie van middelen en de onderwijskundige keuzes die zij maken, en 3) ouders en

leerlingen bij de keuze die ze maken voor een school of opleiding.

Contact

TIER - Top Institute for Evidence Based Education Research

Universiteit Maastricht | Universiteit van Amsterdam | Rijksuniversiteit Groningen

Bezoekadres Maastricht Bezoekadres Amsterdam

Kapoenstraat 2 Roeterstraat 11

Postadres Maastricht Postadres Amsterdam

Postbus 616 Postbus 19268

6200 MD Maastricht 1000 GG Amsterdam

info-ta@maastrichtuniversity.nl info@tierweb.nl

www.tierweb.nl

Met dank aan

Wim Groot | Henriëtte Maassen van den Brink | Joris Ghysels | Chris van Klaveren

Baukje Bemener | Maartje de Boer | Bart ten Bosch | Ton van den Broek

Willem Brouwer | Veronica Bruijns | Bart de Haan | Romy Keulen-Tummers

Alja van der Lek | Lynette Menting | Freek Morren | Ruud Puts | Jelle Schoemaker

Suzanne van Stratum | Dennis Thijssen | Jeannemiek Timmermans | Robert Tobben

conc

ept &

des

ign

BO

NN

É+JA

N |

049

3

Secretariaat TIER: Universiteit van Amsterdam Roetersstraat 11 1018 WB Amsterdam The Netherlands www.tierweb.nl info@tierweb.nl

EVIDENCE BASED VERBETEREN VAN HET ONDERWIJS

Deze bundel is de zesde in de reeks Meesterwerken van de Academische Master Evidence Based Innovation in Teaching (MEBIT). Het onderzoeklaat zien dat docenten met een evidence based houding zelf kunnen bijdragen aan verbeteringvan de kwaliteit van onderwijs.

EVIDENCE BASED VERBETEREN VAN HET ONDERWIJS

60493