Download - Geert Driessen (2012) Presessional testing and learning

Het ITS maakt deel uit

van de Radboud

Universiteit Nijmegen

evaluatie, monitoring, tevreeffectonderzoek en dataver

onderwijs arbeidsamenleving data zorggezondheid onderwijs

sociale zekerheidtoegepaste wetenschaponderzoek zorg welzijn

arbeid mobiliteitzorg en welzijn beleids-

Pre-sessional testing and learning

Een onderzoekspilot gericht op het verbeteren van de taalvaardigheid Engels van startende Avans Hogeschool-studenten Geert Driessen Oktober 2012

ii

Projectnummer: 34001023 2012 ITS, Radboud Universiteit Nijmegen Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave

worden verveelvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen, zonder de voorafgaande schriftelijke toestemming van het ITS van de Radboud Universiteit Nijmegen. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.

iii

Inhoud 1 Inleiding 1

1.1 Vraagstelling 1 1.2 Opzet pilot 2 1.3 Tussentijdse ervaringen en bijstellingen 2 1.4 Tussentijdse uitval studenten 3 1.5 Opzet rapportage 4

2 Het niveau volgens de Oxford OPT en volgens de docenten vergeleken 5

2.1 Inleiding 5 2.2 Nameting Oxford OPT totaal – docentenoordeel Speaking 6 2.3 Nameting Oxford OPT totaal – docentenoordeel Writing 7 2.4 Nameting Oxford OPT totaal – docentenoordeel Speaking en Writing 7 2.5 Nameting Oxford OPT Usage – docentenoordeel Writing 9 2.6 Voormeting Oxford OPT totaal – docentenoordeel Writing 9 2.7 Nameting Oxford OPT totaal en docentenoordeel Listening en Writing 10 2.8 Conclusies 12

3 Het aandeel studenten met een instapniveau lager dan B1 13

3.1 Inleiding 13 3.2 Gemiddelde niveau drie tests 14 3.3 Oxford OPT totaal niveau 16 3.4 Oxford OPT totaal niveau met correctiefactor 17 3.5 Oxford OPT totaal niveau nader gedifferentieerd 18 3.6 Oxford OPT totaal niveau nader gedifferentieerd met correctiefactor 19 3.7 Samenvattend 19

4 De Oxford OPT 21

4.1 Inleiding 21 4.2 De taalvaardigheid volgens de Oxford OPT bij de voor- en nameting 21 4.3 De Oxford OPT bij de nameting naar achtergrondkenmerken 23 4.4 De ontwikkeling van de taalvaardigheid 25 4.5 Ontwikkeling taalvaardigheid naar achtergrondkenmerken 26

iv

5 De docentenoordelen 33 5.1 Inleiding 33 5.2 De ontwikkeling van de taalvaardigheid 34 5.3 Samenhangen eindexamencijfers en docentenoordelen 37

6 De ITAV Placement Test 39

6.1 Inleiding 39 6.2 Verdelingskenmerken van de ITAV Placement Test 40 6.3 De ITAV Placement Test naar achtergrondkenmerken 40 6.4 Samenhangen tussen de ITAV Placement Test en de Oxford OPT en

docentenbeoordelingen 43 7 Effecten van de taaltrainingsprogramma’s 47

7.1 Deelname programma’s 47 7.2 Deelname naar achtergrondkenmerken 48 7.3 Taalvaardigheid naar deelname programma 51

8 De evaluatie van de tests en programma’s door de studenten 55

8.1 Inleiding 55 8.2 De evaluatie van de tests 55 8.3 De evaluatie van de programma’s 60

9 Samenvatting en conclusies 63

9.1 Probleemstelling 63 9.2 Opzet onderzoekspilot 63 9.3 Het niveau volgens de Oxford OPT en volgens de docenten 64 9.4 Het aandeel studenten met een (te) laag instapniveau 65 9.5 De Oxford OPT 66 9.6 De docentenoordelen 66 9.7 De ITAV Placement Test 67 9.8 Effecten van taaltrainingsprogramma’s 68 9.9 Het oordeel van de studenten over de tests en programma’s 70

Bijlage

1

1 Inleiding 1.1 Vraagstelling Avans Hogeschool wil studenten via het curriculum Engels opleiden van niveau B1 naar niveau B2 van het ERK (Europees Referentie Kader). De eindterm voor het vak Engels voor havo is B1, die voor mbo A2. De beginniveaus van de studenten ver-schillen aanzienlijk en zijn niet altijd adequaat. De vakgroepdocenten Engels van Avans Hogeschool schatten dat bijna de helft van de instromende eerstejaarsstudenten niet het gewenste instapniveau B1 (op alle vier de taalmodaliteiten) heeft. Een grote groep studenten zou daarom gedurende het eerste jaar, buiten het normale curriculum Engels, dienen te werken aan het verkrijgen van het benodigde instapniveau Engels (‘pre-sessional learning’), zonder dat daar verder een docent bij betrokken is. In september 2011 heeft Avans Hogeschool het ITS van de Radboud Universiteit Nijmegen benaderd in verband met de evaluatie van een onderzoekspilot. De twee onderzoeksvragen die daar aan ten grondslag liggen luiden: Hoe kan het beste het instapniveau Engels van Avans-studenten worden vastge-

steld? Welke e-learning methode is het meest geschikt om studenten die dat nodig hebben

te ondersteunen bij het alsnog bereiken van het vereiste instapniveau Engels?

De onderzoekspilot dient Avans Hogeschool te ondersteunen bij het zo goed mogelijk opzetten van een extra curriculum Engels voor studenten gedurende het eerste studie-jaar, zodat deze allemaal met ten minste niveau B1 kunnen starten aan het tweede jaar wanneer het curriculum Engels start. Daartoe dient allereerst nagegaan te worden welke instrumenten (‘e-testing’) ingezet kunnen worden bij het op betrouwbare en valide wijze bepalen van welke studenten extra training nodig hebben en welke niet. Vervolgens moet worden onderzocht welke e-learning methode bij deze extra curricu-luminzet het meest efficiënt en effectief is.

2

1.2 Opzet pilot De door Avans Hogeschool opgezette pilot heeft het karakter van een experimenteel design, met de volgende specificaties:1 Ca. 400 studenten maken aan het begin van het studiejaar ieder drie online niveau-

bepalingstests (nl. de LinguaTV Placement Test, de Garnet I-Test en de Oxford Online Placement Test).

De ca. 200 laagstscorende studenten volgen ieder, volgens random toewijzing op studentniveau, één van de twee docentloze leermethodes (nl. de LinguaTV Langu-age Training en de Campus Language Training).

Ca. 400 studenten (minus de studenten die gedurende het propedeuse jaar zijn afgevallen) maken aan het eind van het studiejaar nogmaals de niveaubepalings-tests. Nagegaan wordt wat de leerwinst is en in hoeverre die te maken heeft met de gevolgde leermethode en de intensiteit waarmee de studenten daaraan hebben ge-werkt.

Ca. 40 studenten (een random selectie) nemen ter validatie van de online testresul-taten tevens deel aan een taalniveau assessment door Avans docenten. Dit assess-ment vindt plaats aan het begin en aan het eind van het studiejaar bij zoveel moge-lijk dezelfde studenten, dit ter vergroting van het inzicht in de validiteit van enerzijds de beginniveau-bepaling en anderzijds de effectiviteit van de docentloze instructie.

Het ITS heeft met deze specificaties als vertrekpunt een pretest-posttest control group design uitgewerkt.2 1.3 Tussentijdse ervaringen en bijstellingen Op basis van de bij de beginmeting verzamelde gegevens heeft het ITS twee rappor-tages vervaardigd. Het eerste had tot doel te komen tot een verantwoorde selectie van de laagstscorende studenten die zouden worden verzocht deel te nemen aan een van de beide leermethodes. De tweede betrof een beschrijving van de taalvaardigheid van de studenten bij de voormeting (resultaten op de drie tests, onderlinge samenhangen tussen de drie tests, en de resultaten op de tests uitgesplitst naar een aantal

1 N. de Bruin, J. den Engelsman & B. Goffin (2011). Onderzoeksvoorstel Pilot pre-sessional learning

Engels Avans Hogeschool. Aanvraag voor financiering pilot intake tests en docentloos bijspijkeren tot kansrijk instapniveau Engels. S.l.: Avans Hogeschool.

2 Zie T. Mooij, D. Fettelaar & G. Driessen (2011). Pre-sessional testing en learning: Een onderzoekspilot. Offerte. Nijmegen: ITS.

3

kenmerken van de studenten, zoals vooropleiding en huidige opleiding/studie-richting).3 Naar aanleiding van bij de eerste fase van de pilot opgedane ervaringen en de resulta-ten van de analyses, heeft Avans Hogeschool enkele wijzingen aangebracht in het oorspronkelijke onderzoeksdesign. Daarvoor waren verschillende redenen. Allereerst bleek dat de drie tests niet allemaal even geschikt waren voor het gestelde doel (zie bijlage). Ze bestreken niet adequaat genoeg de gewenste taaldomeinen, voldeden niet qua niveau of vertoonden in afname-technisch opzicht tekortkomingen. Twee van de tests bleken bovendien in de praktijk afname-technisch dusdanig instabiel en bewer-kelijk te zijn, dat zij een enorme belasting met zich meebrachten, voor zowel studen-ten als organisatie. Uiteindelijk is de beslissing genomen om bij de nameting twee tests (de Garnet I-Test en LinguaTV Placement Test) te laten vervallen. Besloten is de Oxford Online Placement Test (voortaan: de Oxford OPT) als minst slechte optie te handhaven. Gedurende de fase tussen de eerste en de tweede testafnamerondes heeft Avans Hogeschool nog verder gezocht naar geschikte online ERK placement tests, maar dat leverde niet zoveel op. De zoektocht naar alternatieven leidde er wel toe dat voor de nameting nog een cloze-test is toegevoegd, de ITAV Placement Test. Dit type test bleek volgens de literatuur hoog te scoren qua validiteit.. 1.4 Tussentijdse uitval studenten Voordat we verder gaan met de inhoudelijke rapportage, willen we nog kort ingaan op de steekproeven van studenten die aan de pilot hebben deelgenomen. Tussen de voor- en nameting is er sprake van uitval. Voor een juiste interpretatie van de bevin-dingen is het van belang te weten of het selectieve uitval betreft. Zijn het misschien de slechtere studenten die zijn uitgevallen? Als dat zo is zou dat tot een vertekening van de resultaten kunnen leiden. Aan de voormeting hebben 427 studenten deelgenomen, aan de nameting (en daarmee aan beide metingen) 311 studenten, ofwel 73%. We hebben de groep studenten die aan de nameting heeft deelgenomen vergeleken met de groep die dat niet heeft ge-daan. Dat is gebeurd op alle achtergrondkenmerken van de studenten (zoals oplei-ding, vooropleiding, sekse) en op alle taalkenmerken (testscores, niveaus, beoordelin-gen). Er is nagegaan of er op deze in totaal 36 kenmerken tussen beide groepen

3 G. Driessen & S. Oomens (2011). Toelichting selectie laagstscorende AMD-studenten. Nijmegen: ITS. G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS. (Zie

Bijlage)

4

significante (p <0,05) en relevante (eta >0,15) verschillen zijn.4 Deze analyses lieten zien dat er slechts op één van de kenmerken een verschil bestond, te weten de oplei-ding, Bij IV had 66% van de studenten aan de nameting deelgenomen, bij P&A ging het om 78%, bij TBK om 89%, en bij WTB om 67%. (Relevant hierbij is dat de TBK-groep de kleinste is met 55 studenten.) Het verschil is in statistische termen echter vrij gering: de eta bedraagt niet meer dan 0,19. Er is daarmee geen grond om te veronder-stellen dat de groep studenten die niet meer aan de nameting heeft deelgenomen een specifieke groep is en dat de uiteindelijke onderzoeksbevindingen met betrekking tot de taalvaardigheid en de ontwikkelingen daarin beïnvloed worden door die niet-deelname. 1.5 Opzet rapportage In de onderhavige rapportage staat de beantwoording van de hierboven geformuleerde tweede onderzoeksvraag centraal: wat is de meest effectieve leermethode? Dat bete-kent dat de analyses vooral gericht zijn op de resultaten van de nameting, de ontwik-keling tussen de voor- en nameting, en de relatie met de leermethode en achtergrond-kenmerken van de studenten. Daarnaast wordt ingegaan op een aantal andere vragen die in de beide eerdere rapportages nog niet aan de orde zijn gesteld en vragen die in de loop van de uitvoering van de pilot bij Avans Hogeschool zijn opgekomen. Tenge-volge van de tussentijds gewijzigde opzet en aanvullende vragen is de navolgende rapportage wat minder ‘strak’ dan oorspronkelijk gepland. Er is vooral gekozen voor een insteek waarin de verschillende toetsen hoofdstuksgewijs behandeld worden. In het slothoofdstuk staat dan de vraag naar de meest geschikte e-learning methode centraal. 4 De p-waarde zegt iets over de waarschijnlijkheid (‘probability’) dat het gevonden resultaat op toeval

berust. Bij een p-waarde van 1,00 kunnen we aannemen dat het resultaat op toeval berust, bij een waarde van 0,00 dat het reëel is. Vaak hanteert men p = 0,05 als grens van statistische significantie. Als de p-waarde kleiner of gelijk is aan 0,05, dan is de kans dat het gevonden resultaat aan het toeval is te wijten maximaal 5%; dit noemt men ‘statistisch significant’. Als een resultaat statistisch significant is, betekent dit echter niet automatisch dat het ook relevant, i.c. in de praktijk van belang is. Daarom vermeldt men aanvullend vaak nog een samenhangsmaat, zoals de correlatiecoëfficiënt eta. Volgens Cohen (1988) en Hopkins (2002) is een correlatie kleiner dan 0,10 triviaal, van 0,10-0,30 klein, van 0,30–0,50 matig, van 0,50–0,70 sterk, van 0,70–0,90 zeer sterk. Bij 0,00 is er totaal geen samenhang, bij 1,00 is er volledige overlap.

J. Cohen (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum. W. Hopkins (2002). A scale of magnitudes for effect statistics. http://sportsci.org/resources/stats/-

effectmag.html.

5

2 Het niveau volgens de Oxford OPT en volgens de docenten vergeleken

2.1 Inleiding De Oxford OPT is in wezen gericht op de receptieve taalkennis en –vaardigheid. Aan-gezien de productieve taalvaardigheid moeilijker is dan de receptieve, geeft de Ox-ford OPT daarom mogelijk een te positief beeld van het algehele niveau. Mede om die reden heeft er in de pilot ook een beoordeling door docenten plaatsgevonden gericht op de productieve taalvaardigheid, bij de voormeting qua Writing en bij de nameting qua Speaking en Writing. De taken die de studenten voorgelegd kregen zijn door Avans Hogeschool ontworpen. Voor Writing ging het om drie hoofdvragen (bv. over hun woonplaats, vakantie), die de studenten in een serie volledige zinnen moes-ten beantwoorden. Er was één A2-vraag, één B1-vraag en één B2-vraag. Het resultaat werd door drie docenten onafhankelijk van elkaar in termen van ERK-niveaus beoor-deeld met betrekking tot Woordgebruik, Grammatica, Spelling en Coherentie. Bij Speaking konden de studenten kiezen uit één of meer items uit de categorieën Perso-nal (bv. films), Opinion (bv. sekseverschillen) en Topical (bv. politieke voorkeur). Hiermee werd Speaking gedrag op respectievelijk A2-, B1- en B2-niveau opgeroe-pen. Ook dit werd beoordeeld in termen van ERK-niveaus ten aanzien van Range, Accuracy, Fluency, Interaction, en Coherence. (Zie verder ook hoofdstuk 5.) Om na te gaan hoe zich beide niveaubepalingen tot elkaar verhouden, is geprobeerd een correctiefactor te berekenen. Daarvoor is het noodzakelijk de factor tijd (i.c. ontwikkeling) te neutraliseren: er mogen alleen vergelijkingen worden gemaakt bin-nen de voormeting en binnen de nameting. Hierna worden de testresultaten5 vergele-ken met de docentenoordelen, voor de test als geheel en de onderscheiden onderdelen.

5 De studenten worden door het computerprogramma op basis van hun testscores ingedeeld in één van de

ERK-niveaus. Nu is er natuurlijk altijd wel enige onzekerheid bij het vaststellen van de taalvaardigheid en het op basis daarvan bepalen van het niveau. Met name speelt dit bij grensgevallen (i.c. –scores). De bij de Oxford OPT gehanteerde omzettingstabel is er daarnaast sprake van een overlap bij de score ranges. Bijvoorbeeld A2: 20-40; B1: 40-60. Onduidelijk is in dit geval bij welk niveau de score 40 hoort. In onze data zien we dit gebrek aan eenduidigheid terug: sommige studenten met de score 40 zijn ingedeeld bij A2, anderen bij B1.

A. Pollitt (z.j.). The Oxford Online Placement Test. The meaning of OOPT scores. Op 10/10/11 gedown-load van www.oxfordenglishtesting.com/uploadedFiles/Buy_tests/oopt_meaning.pdf.

6

2.2 Nameting Oxford OPT totaal – docentenoordeel Speaking Allereerst is nagegaan hoe het bij meting 2 met de Oxford OPT bepaalde totaal ni-veau zich verhoudt tot het door de docenten bij die meting bepaalde Speaking niveau. De niveaus zijn op de gebruikelijke manier gekwantificeerd (A1=1 … C2=6; bij de docenten komen ook tussenniveaus voor). Door het niveau volgens de docenten af te trekken van het niveau volgens de Oxford OPT krijgen we een indruk van de moge-lijke ‘overwaardering’. In onderstaande tabellen staan achtereenvolgens de verdeling en kengetallen.6 Tabel 2.1 – Oxford OPT niveau totaal minus docentenoordeel niveau Speaking (na-meting)

verschilscore aantallen % cumulatieve %

-2,00 1 2,1 2,1 -0,33 1 2,1 4,2 0,00 4 8,3 12,5 0,33 4 8,3 20,8 0,67 5 10,4 31,3 1,00 13 27,1 58,3 1,33 2 4,2 62,5 1,67 5 10,4 72,9 2,00 12 25,0 97,9 2,67 1 2,1 100,0

N 48 100,0

gem.= 1,10; SD = 0,85 Het blijkt dat slechts 2 studenten bij de docenten een hoger niveau halen dan bij de Oxford OPT. Voor 8,3% is het niveau identiek, 27,1% scoort precies één niveau hoger volgens de Oxford OPT en 25% precies twee niveaus. In totaal wordt 87,5% van de studenten door de Oxford OPT hoger ingeschaald dan door de docenten. Ge-middeld ligt het niveau bij de Oxford OPT als geheel ruim één niveau (1,10) hoger dan bij de docentenoordelen qua Speaking.

J. Purpura (z.j.). The Oxford Online Placement Test: What does it measure and how? Language focus:

Use of English and listening ability. Op 10/10/11 gedownload van http://fds.oup.com/www.oup.com/elt/-oet/ift/oopt_measure.pdf.

6 In de tabellen worden de volgende afkortingen gebruikt: gem. = gemiddelde; N = aantal studenten; SD = standaarddeviatie (geeft een indruk van de verschillen tussen studenten).

7

2.3 Nameting Oxford OPT totaal – docentenoordeel Writing In onderstaande tabel staat de vergelijking van de Oxford OPT totaal met de beoorde-ling door de docenten wat betreft Writing. Tabel 2.2 – Oxford OPT niveau totaal minus docentenoordeel niveau Writing (name-ting)


-1,67 1 2,0 2,0 -0,33 2 4,1 6,1 0,00 5 10,2 16,3 0,33 4 8,2 24,5 0,67 9 18,4 42,9 1,00 9 18,4 61,2 1,33 2 4,1 65,3 1,67 7 14,3 79,6 2,00 9 18,4 98,0 2,67 1 2,0 100,0

N 49 100,0

gem. = 1,00; SD = 0,84

Ook hier zijn de resultaten in grote lijnen vergelijkbaar: gemiddeld scoren de studen-ten op de Oxford OPT als geheel één niveau hoger dan op de docentenbeoordeling qua Writing. 2.4 Nameting Oxford OPT totaal – docentenoordeel Speaking en Writing De docentbeoordelingen betreffen twee onderdelen, namelijk Speaking en Writing. Voor de Oxford OPT als geheel zijn de scores op de onderdelen gemiddeld7. Naar analogie daarvan hebben we dat ook met de docentenbeoordelingen Speaking en Writing gedaan. En vervolgens hebben we de vergelijking Oxford totaal en gemid-delde docentenbeoordeling gemaakt. De resultaten daarvan volgen hierna.

7 A. Pollitt (z.j.). O.c. p. 9.

8

Tabel 2.3 – Oxford OPT niveau totaal minus gemiddeld docentenoordeel niveau Speaking en Writing (nameting)


-1,835 1 2,2 2,2 -0,165 2 4,4 6,7 0,000 1 2,2 8,9 0,165 1 2,2 11,1 0,170 1 2,2 13,3 0,330 2 4,4 17,8 0,335 2 4,4 22,2 0,500 2 4,4 26,7 0,665 1 2,2 28,9 0,835 6 13,3 42,2 1,000 6 13,3 55,6 1,165 1 2,2 57,8 1,335 1 2,2 60,0 1,500 1 2,2 62,2 1,665 2 4,4 66,7 1,670 2 4,4 71,1 1,835 4 8,9 80,0 2,000 7 15,6 95,6 2,170 1 2,2 97,8 2,335 1 2,2 100,0

N 45 100,0

gem. = 1,08; SD = 0,83 Ook hier zien we dat er gemiddeld genomen één niveau verschil is tussen de Oxford OPT en de docentenbeoordeling.

9

2.5 Nameting Oxford OPT Usage – docentenoordeel Writing Tabel 2.4 – Oxford OPT niveau Usage minus docentenoordeel niveau Writing (name-ting)


-1,67 1 2,0 2,0 -1,00 1 2,0 4,1 -0,33 2 4,1 8,2 0,00 4 8,2 16,3 0,33 4 8,2 24,5 0,67 8 16,3 40,8 1,00 9 18,4 59,2 1,33 1 0,2 61,2 1,67 8 16,3 77,6 2,00 9 18,4 95,9 2,33 1 2,0 98,0 2,67 1 2,0 100,0

N 49 100,0

gem. = 1,02; SD = 0,90 Ook bij een vergelijking op het niveau van deelvaardigheden bedraagt het gemiddelde verschil één niveau. 2.6 Voormeting Oxford OPT totaal – docentenoordeel Writing Als laatste hebben we de vergelijking Oxford totaal met de docentenbeoordeling Writing gemaakt, maar nu voor de voormeting. De resultaten staan in onderstaande tabellen. (Waarbij we moeten bedenken dat de studenten die bij de eerste meting door de docenten zijn beoordeeld voor een belangrijk deel anderen zijn dan die bij de tweede meting zijn beoordeeld.)

10

Tabel 2.5 - Oxford OPT niveau totaal minus docentenoordeel niveau Writing (voor-meting)


-0,33 1 2,1 2,1 0,00 7 14,9 17,0 0,33 2 4,3 21,3 0,67 3 6,4 27,7 1,00 13 27,7 55,3 1,33 6 12,8 68,1 1,67 6 12,8 80,9 2,00 6 12,8 93,6 2,33 2 4,3 97,9 3,67 1 2,1 100,0

N 47 100,0

gem. = 1,14; SD = 0,79 Ook hier bedraagt het gemiddelde verschil (ruim) één niveau. 2.7 Nameting Oxford OPT totaal en docentenoordeel Listening en Writing Om het plaatje compleet te maken hebben we voor de nameting ook nog de samen-hang tussen de Oxford OPT totaalscore en de docentenbeoordelingen Speaking en Writing berekend. De resultaten staan in onderstaande tabel; het betreft de gemiddel-de scores op de Oxford OPT per niveau.

11

Tabel 2.6 – Gemiddelde scores Oxford OPT totaal per docentenoordeel Speaking en Writing (nameting)

Oxford score

docentenoordeel gem. SD N

Speaking

1,00 A1 51,50 6,36 2 1,67 A2- 41,00 1 2,00 A2 55,57 7,87 7 2,33 A2+ 64,00 15,55 9 2,67 B1- 50,00 4,36 3 3,00 B1 73,44 20,52 16 3,33 B1+ 73,33 9,45 3 3,67 B2- 76,00 12,73 2 4,00 B2 81,40 10,97 5 totaal 66,94 17,58 48

Writing

1,00 A1 48,00 7,55 3 2,00 A2 59,33 14,10 6 2,33 A2+ 67,20 9,83 5 2,67 B1- 37,33 18,50 3 3,00 B1 70,77 15,41 13 3,33 B1+ 72,38 12,16 13 3,67 B2- 81,33 12,99 3 4,00 B2 75,00 1 4,33 B2+ 99,00 1 4,67 C1- 84,00 1 totaal 67,57 16,93 49

eta = 0,59, resp. 0,69 In zijn algemeenheid stijgt met de score op de Oxford OPT ook het niveau volgens de docenten. Het verband is niet geheel rechtlijnig; bij Speaking zou bijvoorbeeld bij B1- een score verwacht worden die tussen 64,00 en 73,44 in zou liggen. De geringe aantallen studenten en de verregaande differentiatie in niveaus spelen daarbij onge-twijfeld een rol. De samenhangen zijn met eta’s van 0,59 en 0,69 vrij sterk.8

8 In hoeverre er sprake is van een afwijking van het rechtlijnige verband kan worden afgeleid uit het

verschil tussen eta en de Pearson correlatiecoëfficiënt r. Dat verschil bedraagt respectievelijk 0,51 en 0,52.

12

2.8 Conclusies De Oxford OPT schat het niveau van de studenten systematisch hoger in dan de do-centen. Er zijn goede redenen om aan te nemen dat dat te maken heeft met het feit dat de Oxford OPT voornamelijk de receptieve taalmodaliteiten meet en de docenten de productieve. Uit alle gemaakte vergelijkingen blijkt dat de Oxford OPT Overall Score de studenten gemiddeld circa één heel niveau hoger inschat dan de docenten. Aange-zien de deelschalen van alle in de eerste ronde gebruikte testen uiteenlopende en niet sterk met elkaar correlerende waardes leken op te leveren (zelfs wanneer het op het oog om dezelfde vaardigheid zou moeten gaan, zoals Listening), noch in voldoende mate bleken te correleren met de bijbehorende Schoolexamenscores (zie bijlage) is ervoor gekozen om nog slechts naar Overall scores te kijken. Bij maximaal 8% van de studenten ligt het niveau volgens de docenten hoger, maar dat betreft niet meer dan 4 studenten. Wanneer er om een beter beeld te krijgen van de productieve taalvaar-digheid een correctiefactor op de Oxford OPT zou worden toegepast van (afgerond) minus één niveau, zou maximaal een kwart van de studenten een niveau krijgen dat bij de Oxford OPT lager ligt dan bij de docenten (in de tabellen 2.2 en 2.4 de 24,5% van de studenten met een score t/m 0,33).

13

3 Het aandeel studenten met een instapniveau lager dan B1 3.1 Inleiding Een onderwerp dat in de eerdere rapportages nog niet volledig aan de orde was ge-komen betreft de vraag hoeveel procent van de studenten een bepaald niveau heeft bij de voormeting (c.q. het instapniveau). Een antwoord op deze vraag is van belang om een inschatting te kunnen maken van het aantal studenten dat na het pilot-jaar een bijscholingstraject zou moeten gaan volgen. Hierna wordt een overzicht gepresenteerd van de cumulatieve verdelingen van de studenten over de ERK-niveaus. De betreffende tabellen laten zien hoeveel procent van de studenten minimaal een bepaald niveau heeft. Dat gebeurt achtereenvolgens voor: het gemiddelde niveau van de drie tests die bij de voormeting zijn afgenomen, te

weten de Oxford OPT, Garnet I-Test en LinguaTV Placement Test 9; het niveau van de Oxford OPT als geheel; het niveau van de Oxford OPT als geheel waarop een correctiefactor van -1 is

toegepast (ter correctie van het verschil receptieve versus productieve taalvaardig-heid);

het niveau van de Oxford OPT als geheel, maar nu met een nadere differentiatie waarbij de niveaus niet telkens een range kennen van 20, maar van 10 scorepun-ten.

In de tabellen staan de verdelingen voor alle studenten samen, uitgesplitst naar voor-opleiding, uitgesplitst naar opleiding, en uitgesplitst naar opleiding en vervolgens naar vooropleiding (uit deze laatste combinatie kan ook de uitsplitsing naar voorop-leiding en vervolgens opleiding worden afgeleid).

9 G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS.

14

3.2 Gemiddelde niveau drie tests Tabel 3.1 – Gemiddelde niveau drie tests (Oxford OPT, Garnet I-Test en LinguaTV Placement Test) per vooropleiding, per opleiding en voor alle studenten (cumulatieve %)

vooropleiding opleiding totaal

niveau havo mbo vwo IV P&A TBK WTB

1,33 1,1 0,8 0,2 2,00 A2 1,1 6,5 2,0 3,8 1,9 2,3 2,6 2,33 2,9 21,5 6,0 9,0 5,7 6,8 7,1 2,50 3,6 22,6 7,3 10,5 7,5 8,2 2,67 16,8 38,7 16,6 27,8 17,0 21,6 21,2 3,00 B1 35,8 63,4 14,3 33,8 53,4 39,6 37,5 41,4 3,33 58,0 78,5 21,4 53,6 71,4 60,4 56,8 60,7 3,50 59,9 79,6 55,0 66,0 59,1 62,4 3,67 78,5 90,3 39,3 74,2 86,5 71,7 79,5 78,8 4,00 B2 93,1 96,8 64,3 89,4 96,2 88,7 92,0 92,0 4,33 98,2 98,9 85,7 96,7 100,0 96,2 95,5 97,4 4,50 89,3 98,1 96,6 97,9 4,67 98,9 96,4 98,0 98,9 98,8 5,00 C1 100,0 100,0 100,0 100,0 100,0 100,0 100,0 N 274 93 28 151 133 53 88 425

15

Tabel 3.2 – Gemiddelde niveau drie tests, per opleiding per vooropleiding (cumula-tieve %)

IV P&A

niveau havo mbo vwo havo mbo vwo

1,33 2,6 2,00 A2 0,9 2,5 7,9 2,33 2,8 19,0 3,8 23,7 2,50 3,7 23,8 2,67 13,8 33,3 22,8 39,5 3,00 B1 28,4 57,1 10,0 46,8 68,4 33,3 3,33 50,5 71,4 20,0 65,8 84,2 3,50 51,4 76,2 3,67 73,4 90,5 30,0 86,1 92,1 50,0 4,00 B2 90,8 60,0 97,5 100,0 4,33 97,2 95,2 90,0 100,0 100,0 4,50 4,67 99,1 5,00 C1 100,0 100,0 100,0 N 109 21 10 79 38 6

TBK WTB


1,33 2,00 A2 10,0 8,3 2,33 30,0 4,2 16,7 2,50 2,6 50,0 2,67 10,5 70,0 18,8 37,5 3,00 B1 34,2 80,0 25,0 35,4 58,3 3,33 60,5 60,4 75,0 12,5 3,50 68,4 62,5 3,67 71,1 90,0 50,0 83,3 87,5 37,5 4,00 B2 89,5 100,0 93,8 100,0 62,5 4,33 97,4 100,0 97,9 4,50 75,0 4,67 100,0 5,00 C1 100,0 100,0 N 38 10 4 48 24 8

16

3.3 Oxford OPT totaal niveau Tabel 3.3 – Oxford OPT totaal niveau per vooropleiding, opleiding en voor alle stu-denten (cumulatieve %)

niveau vooropleiding opleiding totaal

havo mbo vwo IV P&A TBK WTB

1 A1 1,1 0,8 0,2 2 A2 0,7 11,2 2,1 4,8 1,9 2,3 3,0 3 B1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6 4 B2 75,7 88,8 51,9 69,5 82,4 82,7 73,6 76,0 5 C1 96,6 98,9 96,3 95,0 99,2 96,2 97,7 97,0 6 C2 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 N 267 89 27 141 125 52 87 405

Tabel 3.4 – Oxford OPT totaal niveau per opleiding per vooropleiding (cumulatieve %)

IV P&A


1 A1 2,8 2 A2 1,0 10,5 1,3 13,9 3 B1 19,0 47,4 33,3 41,7 20,0 4 B2 67,6 89,5 50,0 82,1 88,9 40,0 5 C1 95,2 94,7 90,0 98,7 100,0 100,0 6 C2 100,0 100,0 100,0 100,0 N 105 19 10 78 36 5

TBK WTB


1 A1 2 A2 10,0 8,3 3 B1 32,4 60,0 25,5 37,5 25,0 4 B2 81,1 90,0 100,0 78,7 87,5 37,5 5 C1 94,6 100,0 97,9 100,0 100,0 6 C2 100,0 100,0 N 37 10 4 47 24 8

17

3.4 Oxford OPT totaal niveau met correctiefactor

Tabel 3.5 – Oxford OPT totaal niveau met correctiefactor van -1, per vooropleiding, per opleiding en voor alle studenten (cumulatieve %)



0 <A1 1,1 0,8 0,2 1 A1 0,7 11,2 2,1 4,8 1,9 2,3 3,0 2 A2 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6 3 B1 75,7 88,8 51,9 69,5 82,4 82,7 73,6 76,0 4 B2 96,6 98,9 96,3 95,0 99,2 96,2 97,7 97,0 5 C1 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 6 C2 N 267 89 27 141 125 52 87 405

Tabel 3.6 – Oxford OPT totaal niveau met correctiefactor van -1, per opleiding per vooropleiding (cumulatieve %)

IV P&A


0 <A1 2,8 1 A1 1,0 10,5 1,3 13,9 2 A2 19,0 47,4 33,3 41,7 20,0 3 B1 67,6 89,5 50,0 82,1 88,9 40,0 4 B2 95,2 94,7 90,0 98,7 100,0 100,0 5 C1 100,0 100,0 100,0 100,0 6 C2 N 105 19 10 78 36 5

TBK WTB


0 <A1 1 A1 10,0 8,3 2 A2 32,4 60,0 25,5 37,5 25,0 3 B1 81,1 90,0 100,0 78,7 87,5 37,5 4 B2 94,6 100,0 97,9 100,0 100,0 5 C1 100,0 100,0 6 C2 N 37 10 4 47 24 8

18

3.5 Oxford OPT totaal niveau nader gedifferentieerd De Oxford OPT kent bij de onderhavige data een scorebereik van 4 tot en met 110 en onderscheidt zes niveaus. Deze niveaus omvatten steeds 20 scorepunten, dus bijvoor-beeld A1 betreft de studenten met de scores binnen de range 1-20. Omdat die range vrij grof is, is een gedifferentieerdere indeling geconstrueerd met telkens 10 score-punten in plaats van 20. Er was slechts één student met de score 4; de volgende had de score 31. Daarom is de eerste categorie t/m 40. De Oxford OPT classificeert de scorepunten niet eenduidig: soms wordt een student met bijvoorbeeld de score 40 bij niveau A2 geteld, soms bij niveau B1. Hier is er in dergelijke gevallen, i.c. bij grens-waarden, voor gekozen die student bij A2 te zetten. Aldus zijn acht categorieën ge-vormd. Tabel 3.7 – Oxford OPT totaal niveau gedifferentieerd naar categorieën met 10 sco-repunten, per vooropleiding, opleiding en voor alle studenten (cumulatieve %)



A2 0-40 1,1 11,2 2,1 4,8 1,9 3,4 3,2 B1 41-50 10,9 23,6 12,1 16,0 13,5 11,5 13,3 B1 51-60 26,2 43,8 14,8 21,3 35,2 36,5 27,6 28,9 B2 61-70 50,9 68,5 25,9 46,8 59,2 55,8 49,4 52,3 B2 71-80 76,4 88,8 51,9 70,2 83,2 82,7 75,9 77,0 C1 81-90 89,9 92,1 92,6 87,2 93,6 92,3 92,0 90,9 C1 91-100 97,4 98,9 96,3 95,0 99,2 98,1 98,9 97,5 C2 101-110 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 N 267 89 27 141 125 52 87 405

19

Tabel 3.8 – Oxford OPT totaal niveau gedifferentieerd naar categorieën met 10 sco-repunten, per opleiding per vooropleiding (cumulatieve %)

IV P&A


A2 0-40 1,0 10,5 1,3 13,9 B1 41-50 8,6 36,8 14,1 19,4 B1 51-60 19,0 47,4 33,3 41,7 20,0 B2 61-70 46,7 68,4 10,0 56,4 72,2 B2 71-80 68,6 89,5 50,0 82,1 88,9 40,0 C1 81-90 86,7 80,0 92,3 94,4 100,0 C1 91-100 95,2 94,7 90,0 98,7 100,0 C2 101-110 100,0 100,0 100,0 100,0 N 105 19 10 78 36 5

TBK WTB


A2 0-40 10,0 B1 41-50 10,8 30,0 10,6 16,7 B1 51-60 32,4 60,0 25,0 25,5 37,5 25,0 B2 61-70 48,6 80,0 75,0 53,2 58,3 B2 71-80 81,1 90,0 100,0 80,9 87,5 37,5 C1 81-90 91,9 91,5 91,7 100,0 C1 91-100 97,3 100,0 100,0 100,0 C2 101-110 100,0 N 37 10 4 47 24 8

3.6 Oxford OPT totaal niveau nader gedifferentieerd met correctiefactor Hiervoor hebben we de Oxford OPT gecorrigeerd met een factor van -1. Het is ook mogelijk om de gedifferentieerde Oxford OPT indeling te corrigeren met een factor -1. In feite betekent dit dat de percentages ten opzichte van de niveau-aanduidingen één rij omhoog schuiven. Het resultaat komt dan weer overeen met de tabellen 4.5 en 4.6 (Oxford OPT totaal niveau met correctiefactor). We zien er daarom vanaf deze tabellen nog een keer te presenteren. 3.7 Samenvattend In onderstaande tabel worden de resultaten van de verschillende indicatoren samen-gevat. In de tabel staat het percentage studenten dat bij de voormeting niet het B1 niveau heeft gehaald. Achtereenvolgens betreft het: het gemiddelde niveau van de

20

drie tests; het Oxford OPT totaal niveau; het Oxford OPT totaal niveau met de correc-tiefactor van -1; het Oxford OPT totaal niveau nader gedifferentieerd naar 10 score-punten per niveau, dus B1 t/m 50 punten; het Oxford OPT totaal niveau nader gedif-ferentieerd naar 10 scorepunten per niveau met de correctiefactor van -1. Tabel 3.9 – Percentage studenten dat bij de voormeting volgens de verschillende indi-catoren niet voldoet aan het B1 criterium, per vooropleiding, per opleiding en voor alle studenten



gemiddelde 3 tests 16,8 38,7 - 16,6 27,8 17,0 21,6 21,2 Oxford totaal 0,7 11,2 - 2,1 4,8 1,9 2,3 3,0 Oxford totaal -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6 Oxford totaal 50 10,9 23,6 - 12,1 16,0 13,5 11,5 13,3 Oxford totaal 50 -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6

Het overzicht laat zien dat er flinke verschillen bestaan tussen de indicatoren. Wan-neer de keuze wordt bepaald door de score op de Oxford OPT, bedraagt het totaal aantal kandidaten voor een bijscholingstraject slechts 3%. Wanneer er echter vanuit wordt gegaan dat de Oxford OPT onvoldoende de productieve vaardigheden meet en er een correctiefactor van -1 moet worden toegepast, dan stijgt het aandeel kandidaten met ruim 25%-punten. Wanneer wordt uitgegaan van het tussenniveau B1 (dus t/m score 50), dan wordt het percentage op basis van het gecorrigeerde Oxford OPT ni-veau ongeveer gehalveerd. Het hanteren van het gemiddelde niveau van de drie tests lijkt in de praktijk geen optie, omdat Avans Hogeschool inmiddels besloten heeft de Garnet I-Test en LinguaTV Placement Test te laten vervallen bij het nieuwe studie-jaar. Omdat de drie tests samen hier een gevarieerd beeld geven van de taalvaardig-heid, geeft het gemiddelde daarvan waarschijnlijk wel de optimaal mogelijke indica-tie van het niveau en daarmee van het aandeel studenten dat extra training behoeft. Als die lijn wordt gevolgd, dan betekent dat dat het gecorrigeerde Oxford OPT niveau de meest geschikte indicator zou zijn.

21

4 De Oxford OPT 4.1 Inleiding Bij de voormeting hebben 405 studenten de Oxford OPT gemaakt, bij de nameting 291. Van al deze studenten zijn de toetsscores bekend. Daarnaast zijn van 405, res-pectievelijk 288 studenten de taalvaardigheidniveaus beschikbaar. Van 287 studenten zijn zowel de voor- als nametingscores beschikbaar en van 284 ook de niveaus. We zijn nagegaan of er met betrekking tot de Oxford OPT tussen voor- en nameting sprake is geweest van selectieve uitval onder de studenten, Daarvoor hebben we voor de groep studenten die bij de voormeting de Oxford OPT heeft gemaakt een vergelij-king gemaakt tussen de studenten die vervolgens bij de nameting die toets wel heeft gemaakt met de studenten die die toets niet meer hebben gemaakt. Dat is gedaan voor alle achtergrondkenmerken en alle taalkenmerken (vgl. hoofdstuk 1). Gecontroleerd is of er op deze 36 kenmerken significante (p <0,05) en relevante (eta >0,15) ver-schillen zijn tussen beide groepen. Uit de analyseresultaten bleek dat er alleen qua opleiding verschillen waren: bij IV had 67% van de studenten ook bij de nameting de Oxford OPT gemaakt, bij P&A ging het om 72%, bij TBK om 90%, en bij WTB om 64%. Dit verschil is in statisti-sche termen echter vrij gering: de eta bedroeg niet meer dan 0,18. Deze bevindingen komen overeen met die in hoofdstuk 2 zijn gepresenteerd. Bedacht dient te worden dat de TBK-groep betrekkelijk klein is (N=55). De conclusie luidt dan ook dat er geen sprake is van selectieve uitval bij de nameting van de Oxford OPT. 4.2 De taalvaardigheid volgens de Oxford OPT bij de voor- en nameting In onderstaande tabel staan allereerst de kengetallen voor de Oxford OPT testscores. Het betreft alle studenten die aan de voor- en/of nameting hebben deelgenomen.

22

Tabel 4.1 – Kengetallen Oxford OPT scores voormeting en nameting

voormeting nameting

totaal Usage Listening totaal Usage Listening

N 405 405 405 291 291 291 gem. 68,90 66,61 71,20 66,74 65,24 68,30 SD 15,94 17,73 17,96 17,05 18,55 19,68 minimum 4 7 1 0 0 0 maximum 110 107 119 102 111 118

Opvallend, maar niet helemaal onverwacht, is het gegeven dat de gemiddelde scores bij de nameting lager liggen dan bij de voormeting. De tabel laat ook zien dat Liste-ning wat beter is gemaakt dan Usage, maar dat de achteruitgang voor Listening (qua punten) ook groter is. Gemiddeld genomen zijn de studenten er dus op achteruitge-gaan wat hun taalvaardigheid betreft. Elders in deze rapportage hebben we geconsta-teerd dat de groep studenten die niet meer aan de nameting heeft deelgenomen niet selectief is (dus qua taal- en achtergrondkenmerken vergelijkbaar is met de studenten die wel aan de nameting hebben deelgenomen). Er is daarmee dus geen aanleiding te veronderstellen dat deze achteruitgang niet voor de hele groep studenten zou gelden. Dat er sprake is van een terugval heeft waarschijnlijk te maken met het feit dat het merendeel van de studenten in de tussenliggende periode geen actieve instructie heeft gehad in Engels. Toch geeft de tabel waarschijnlijk een geflatteerd beeld te zien van wat normaliter verwacht kan worden qua terugval in taalvaardigheidniveau. Immers, een deel van de studenten, heeft als onderdeel van het experiment, gedurende het studiejaar (via zelfstudie) wél onderwijs gevolgd. In de volgende tabel staan vergelijkbare gegevens voor het volgens de Oxford OPT bereikte niveau. Omdat die niveaus zijn afgeleid van de scores, liggen de bevindingen op één lijn. Het gemiddelde niveau zit tegen B2 aan (=4).

Tabel 4.2 – Kengetallen Oxford OPT niveaus voormeting en nameting

voormeting nameting


N 405 405 405 288 288 288 gem. 3,95 3,84 4,03 3,89 3,78 3,91 SD 0,85 0,93 0,97 0,82 0,92 0,96 minimum 1,00 1,00 0,50 1,00 1,00 0,50 maximum 6,00 6,00 6,50 6,00 6,00 6,00

23

4.3 De Oxford OPT bij de nameting naar achtergrondkenmerken Voordat we ingaan op de resultaten met betrekking tot de ontwikkeling van de taal-vaardigheid tussen voor- en nameting presenteren we eerst nog de gemiddelden op de Oxford OPT bij de nameting, uitgesplitst naar de achtergrondkenmerken van de stu-denten; eerst de scores, daarna de niveaus. Tabel 4.3 – De Oxford OPT scores bij de nameting naar opleiding, vooropleiding en profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddel-den)

opleiding vooropleiding profiel

IV 68,66 havo 67,89 CM 70,49 P&A 65,08 mbo 59,35 EM 69,37 TBK 68,75 vwo 74,12 NG 66,81 WTB 64,50 NT 67,30 totaal 66,74 totaal 66,44 totaal 68,59 eta 0,13 eta 0,25 eta 0,08

sekse dyslexie aantal talen welke talen

man 68,20 ja 63,00 1 58,23 Ned 57,67 vrouw 62,95 nee 66,98 2 70,09 Ned Eng 70,79 3 65,31 Ned Eng Dui 65,53 ≥4 63,28 anders 62,88 totaal 66,94 totaal 66,44 totaal 66,44 totaal 66,44 eta 0,14 eta 0,08 eta 0,23 eta 0,26

24

Tabel 4.4 – De Oxford OPT niveaus bij de nameting naar opleiding, vooropleiding en profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddel-den)





Tabel 4.3 maakt duidelijk dat de verschillen naar opleiding niet heel erg groot zijn: WTB scoort het laagst, IV en TBK het hoogst. De verschillen naar vooropleiding zijn wel beduidend, met name het verschil tussen mbo en vwo. Naar profiel zijn de ver-schillen vrij gering. Mannen scoren wat hoger dan vrouwen en kinderen met dyslexie wat lager dan kinderen zonder dyslexie. Bij de twee vragen naar het aantal talen dat de studenten zeggen redelijk te beheersen en welke talen dat dan zijn, valt op dat de studenten die zeggen twee talen te beheersen het hoogst scoren; dat zijn tegelijkertijd voornamelijk de studenten die zeggen het Nederlands en Engels redelijk te beheersen. De gegevens in Tabel 4.4 met de niveaus zijn in grote lijnen vergelijkbaar met die in Tabel 4.3 met de scores. In de vorige twee tabellen is één achtergrondkenmerk nog niet opgenomen, namelijk de eindcijfers die de studenten in de vooropleiding hebben behaald op elk van de vaardigheden (Schrijven, Luisteren, Spreken, Lezen). In de volgende tabel staan de samenhangen in de vorm van correlatiecoëfficiënten tussen de Oxford OPT bij de nameting en deze eindcijfers.

25

Tabel 4.5 – Samenhangen scores en niveaus Oxford OPT bij de nameting en eind-examencijfers middelbare school (correlaties) Oxford eindcijfers totaal Schrijf-

vaardigheid Luister- vaardigheid

Spreek- vaardigheid

Lees- vaardigheid

scores 0,34 0,35 0,29 0,22 0,26 niveaus 0,38 0,42 0,40 0,25 0,31

De correlaties tussen de eindcijfers en Oxford OPT scores zijn klein tot matig, rond de 0,30. De samenhang met de Schrijfvaardigheid is het hoogst, die met de Leesvaar-digheid het laagst. Bij de samenhangen met de niveaus, die grover zijn dan de scores, zijn de correlaties wat hoger. 4.4 De ontwikkeling van de taalvaardigheid Een belangrijke vraag is hoeveel de studenten er nu op vooruit (of achteruit!) zijn gegaan in de tussenliggende periode? Hiervoor hebben we al de resultaten gepresen-teerd voor alle studenten die aan de voormeting hebben deelgenomen en alle studen-ten die aan de nameting hebben deelgenomen. In de analyses die zijn uitgevoerd om de ontwikkeling in kaart te brengen zijn alleen de gegevens gebruikt van de studenten die aan beide metingen hebben deelgenomen. De ontwikkeling is hier bepaald op basis van verschilscores, dat wil zeggen de resultaten bij de nameting minus die bij de voormeting. In onderstaande tabel staan de resultaten voor zowel de toetsscores als niveaus. Tabel 4.6 – Kengetallen ontwikkeling Oxford OPT scores en niveaus (verschilscores nameting - voormeting)

scores niveaus


N 287 287 287 284 284 284 gem. -1,99 -0,90 -3,01 -0,04 -0,03 -0,13 SD 13,77 15,05 19,71 0,70 0,77 1,00 minimum -88 -87 -89 -3,00 -3,00 -4,00 maximum 38 31 75 2,00 2,00 3,00

26

Er zijn 287 studenten die aan beide metingen hebben deelgenomen en waarvoor de toetsscores bekend zijn; van 284 studenten zijn de niveaus bekend. De beide tabellen laten zien dat, voor de studenten die aan beide testafnames hebben meegedaan, zowel de scores als niveaus wat zijn teruggelopen, het meeste voor Listening. Gaat het hier om een sterke achteruitgang? Om dat na te gaan zijn in onderstaande tabel voor zowel de voor- als nameting de gemiddelde totaalscores van de Oxford OPT per niveau weergegeven (van alle studenten die de toets hebben gemaakt). Tabel 4.7 – Gemiddelde totaalscores Oxford OPT per niveau, voormeting en name-ting

voormeting nameting

gem. SD N gem. SD N

1 A1 4,00 1 16,00 1 2 A2 35,27 2,80 11 32,45 6,11 11 3 B1 51,78 5,53 104 51,31 5,08 74 4 B2 70,03 5,53 192 69,91 5,52 138 5 C1 87,58 5,14 85 87,13 5,51 62 6 C2 103,25 3,52 12 101,00 1,41 2 totaal 68,90 15,94 405 67,44 15,70 288

Het verschil per niveau bedraagt steeds tussen de 15 en 20 punten, gemiddeld geno-men voor zowel voor- als nameting gaat het om 17 punten. Als nu de gemiddelde achteruitgang van bijna 2 punten (-1,99; zie Tabel 4.6) daartegen wordt afgezet, gaat het om een kleine achteruitgang, namelijk van ruim een tiende niveau. Maar dat neemt niet weg dat de studenten er gemiddeld genomen op achteruit zijn gegaan. 4.5 Ontwikkeling taalvaardigheid naar achtergrondkenmerken Zijn er verschillen in de ontwikkeling van de taalvaardigheid die te maken hebben specifieke kenmerken van de studenten, bijvoorbeeld hun vooropleiding of huidige opleiding (i.c. studierichting)? We kunnen de beantwoording van deze vraag op ver-schillende manieren benaderen. De meest simpele is gewoon de verschilscores (of-wel: nameting minus voormeting; de leerwinst) berekenen en dan nagaan of er daarbij verschillen zijn tussen bijvoorbeeld studenten op de vier opleidingen. Dat kan met behulp van de statistische techniek variantie-analyse. Punt is dat daarbij geen reke-ning wordt gehouden met verschillen in het beginniveau. In principe is het zo dat

27

studenten die bij de beginmeting een lage score hebben de meeste mogelijkheden hebben te groeien; zij hebben ook niet zo gauw last van een ‘plafond’10. Om met verschillen in beginniveau rekening te houden, kan daarom soms beter covariantie-analyse worden toegepast. Met deze techniek wordt de invloed van dat beginniveau verdisconteerd bij de schatting van eindniveau. Het resultaat is dat alle studenten als het ware op hetzelfde beginniveau worden gezet en de netto-groei wordt berekend. Variantie-analyse met verschilscores kan tot andere resultaten leiden dan covariantie-analyse met voor- en nametingscores. Beide benaderingen verschillen en vullen el-kaar aan. Bij analyse van verschilscores gaat het om verandering en is de vraag aan de orde of het ene programma tot meer vooruitgang leidt dan het andere. Bij covariantie-analyse gaat het om de toestand op een bepaald moment en draait het om de vraag of het ene programma tot betere resultaten leidt nadat rekening is gehouden met aan-vangsverschillen.11 In een eerdere rapportage is al toegelicht hoe de achtergrondkenmerken tot stand zijn gekomen12; we zullen daar daarom nu niet meer op ingaan. Hierna volgen de tabellen wat betreft opleiding, vooropleiding en profiel voor zowel de Oxford OPT scores als niveaus. Tabel 4.8 – Oxford OPT scores naar opleiding; verschilscores nameting – voorme-ting en ongecorrigeerde scores nameting en voor voormeting gecorrigeerde scores

opleiding

verschilscore nameting - voormeting

nameting afwijking t.o.v. gemiddelde

zonder correctie

nameting gecor-rigeerd voor voormeting

afwijking t.o.v. gemiddelde na

correctie

1 IV -3,65 68,65 1,95 66,02 -0,68 2 P&A -1,30 65,03 -1,67 66,75 0,05 3 TBK 1,30 68,62 1,91 69,62 2,92 4 WTB -3,07 64,50 -2,20 65,31 -1,39 totaal -1,99 66,70 eta 0,13 0,11 0,08

10 Vgl. B. Tabachnick & L. Fidell (2001). Using multivariate statistics. Boston: Allyn and Bacon. p.303. Overigens speelt dit ‘ceiling effect’ bij de Oxford in principe niet, omdat dit een adaptieve test is waarbij

items in de volledige range A1 – C2 beschikbaar zijn. 11 Tabachnick & Fidell (2001). O.c. R. Veenstra (1999). Leerlingen-klassen-scholen. Prestaties en vorderingen van leerlingen in het voortge-

zet onderwijs. Amsterdam: Thela Thesis. 12 G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS.

28

In de kolom ‘verschilscore’ zien we dat de hele groep studenten er 1,99 punt op ach-teruit is gegaan. Dat is dezelfde score als in Tabel 4.3 is vermeld. De IV-studenten zijn er met -3,65 het meest op achteruit gegaan; TBK is er als enige opleiding op vooruitgegaan, met 1,30. Uit de eta coëfficiënt onder in de tabel valt af te leiden dat de verschillen tussen de opleidingen niet erg groot zijn. In de kolom ‘nameting’ staan de gemiddelde ruwe scores op de Oxford OPT bij de nameting. Hier zien we dat de IV- en TBK-studenten het hoogst scoren en de WTB-studenten het laagst. In de ko-lom ‘verschillen zonder correctie’ staan de precieze verschillen van elk van de vier opleidingen ten opzichte van de totaalgemiddelde (van 66,70). In de daarop volgende kolom staan de gemiddelde scores nadat rekening is gehouden met verschillen tussen de opleidingen bij de voormeting. Hoe groot die verschillen zijn zien we in de laatste kolom. Nu zien we dat ten opzichte van de ongecorrigeerde scores een verschuiving heeft plaatsgevonden. De IV-studenten doen het nu ruim 2,5 punt slechter, (1,95 + 0,68) de P&A-studenten ruim 1,5 beter (1,67 + 0,05). Hoewel er dus nog steeds spra-ke is van verschillen, is de relevantie daarvan echter zeer beperkt. Eerder hebben we in Tabel 4.7 laten zien dat het verschil tussen elk van de niveaus rond de 15 à 20 punten bedraagt. Dat betekent dus dat 1,5 punt verschil ongeveer een tiende niveau impliceert. In onderstaande tabel staan vergelijkbare gegevens, maar nu niet met de scores maar niveaus. De resultaten zijn daardoor wat grover. Tabel 4.9 – Oxford OPT niveaus naar opleiding; verschilscores nameting – voorme-ting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde niveaus

opleiding



zonder correctie



correctie

IV -0,16 3,99 0,11 3,84 -0,04 P&A -0,03 3,74 -0,14 3,84 -0,04 TBK 0,13 3,96 0,07 4,02 0,14 WTB 0,00 3,87 -0,01 3,91 0,02 totaal -0,04 3,88 eta 0,14 0,13 0,08

In de volgende twee tabellen staan de resultaten met betrekking tot de vooropleiding. (De scores voor de totale groep die in deze tabellen staan, kunnen enigszins afwijken van die in de vorige tabel met de uitsplitsing naar opleiding. Dat komt omdat niet van

29

alle studenten de vooropleiding bekend is. Iets soortgelijks geldt de hierna volgende tabellen met de gegevens voor het profiel.) Tabel 4.10 – Oxford OPT scores, respectievelijk niveaus naar vooropleiding; ver-schilscores nameting – voormeting en ongecorrigeerde scores nameting en voor voormeting gecorrigeerde scores

vooropleiding



zonder correctie



correctie

scores

havo -2,20 67,84 1,42 66,83 0,41 mbo -2,43 59,35 -7,07 64,02 -2,40 vwo -0,91 74,70 8,28 69,85 3,43 totaal -2,15 66,42 eta 0,03 0,25 0,09

niveaus

havo -0,07 3,93 0,06 3,89 0,01 mbo -0,06 3,49 -0,38 3,71 -0,16 vwo 0,14 4,46 0,59 4,22 0,35 totaal -0,05 3,88 eta 0,08 0,31 0,15

Uit de tabel met Oxford OPT scores blijkt dat de mbo-studenten er het meest op ach-teruit zijn gegaan, de vwo-studenten het minst. Bij de nameting scoren de vwo-studenten het hoogst, de mbo-studenten het laagst. Het verschil tussen beide catego-rieën bedraagt ruim 15 punten, dus één niveau. (Dit zien we ook in de tabel met Ox-ford OPT niveaus: 4,46 – 3,49) Als we de nameting corrigeren voor de voormeting, dan zien we dat de verschillen tussen de drie vooropleidingen grotendeels verdwijnen. (De eta neemt ook af van 0,25 naar 0,09.) Nadat rekening is gehouden met verschil-len bij de voormeting bedraagt het verschil tussen mbo en vwo nog slechts ruim 5,5 punt. Deze paragraaf afsluitend presenteren we in de volgende tabellen de resultaten met betrekking tot het profiel van de studenten op de middelbare school.

30

Tabel 4.11 – Oxford OPT scores, respectievelijk niveaus naar profiel; verschilscores nameting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde niveaus

profiel



zonder correctie



correctie

scores

CM 1,36 70,79 2,20 71,60 3,01 EM -2,66 69,37 0,79 68,45 -0,13 NG -4,85 66,50 -2,09 66,04 -2,55 NT -1,90 67,30 -1,29 68,26 -0,33 totaal -2,06 68,58 eta 0,12 0,08 0,09

niveaus

CM 0,09 4,03 0,05 4,09 0,10 EM -0,08 4,01 0,03 3,98 -0,01 NG -0,16 3,92 -0,07 3,89 -0,09 NT -0,03 3,96 -0,03 3,98 -0,00 totaal -0,05 3,99 eta 0,10 0,05 0,07

De tabel met de Oxford OPT scores maakt duidelijk dat de studenten met het CM-profiel erop vooruit zijn gegaan; de studenten met een NG-profiel zijn er het meest op achteruit gegaan. Bij de nameting zijn de verschillen niet zo groot. Als gecorrigeerd wordt voor voormeting, verandert er niet zoveel. De bevindingen met betrekking tot Oxford niveaus zijn vergelijkbaar. Bovenstaande analyses zijn tevens verricht op de andere achtergrondkenmerken van de studenten, te weten sekse, dyslexie, welke talen beheerst de student redelijk, en hoeveel talen beheerst de student redelijk. Er is daarbij gecontroleerd of de eta co-ëfficiënt ten minste voldeed aan het criterium van 0,15. Dit leidde voor de in totaal 16 analyses tot de volgende bevindingen. Mannen scoren bij de nameting iets hoger qua niveau dan vrouwen (3,98 vs. 3,65; eta = 0,18). Bij de vraag naar welke talen redelijk worden beheerst zijn er verschillen qua scores op de nameting. De scores op elk van de onderscheiden categorieën zijn: Ned: 57,67; Ned, Eng: 70,80; Ned, Eng, Dui: 65,42; anders: 62,93 (eta = 0,26). En dat geldt even-eens voor de niveaus: Ned: 3,39; Ned, Eng: 4,14; Ned, Eng, Dui: 3,78; anders: 3,68 (eta = 0,31).

31

Iets vergelijkbaars geldt voor de gerelateerde vraag naar het aantal talen dat redelijk wordt beheerst. Met betrekking tot de scores op de nameting: aantal talen 1: 58,23; 2: 70,09; 3: 65,25; 4 of meer: 63,28 (eta = 0, 23). Met betrekking tot de niveaus: welke talen: Ned: 3,43 Ned, Eng: 4,09; Ned, Eng, Dui: 3,79; anders: 3,67 (eta = 0,28). Afsluitend zijn ook nog de samenhangen bepaald tussen de eindexamencijfers en de leerwinst op de Oxford OPT.13 De betreffende correlaties staan in Tabel 4.12. Tabel 4.12 – Samenhangen verschilscores Oxford OPT scores, respectievelijk niveaus met eindexamencijfers middelbare school (correlaties)

Oxford eindexamencijfers

totaal Schrijven Luisteren Spreken Lezen

scores -0,19 -0,11 -0,15 -0,19 -0,24 niveaus -0,15 -0,03 -0,11 -0,19 -0,21

De samenhangen zijn hooguit zwak; de sterkste samenhang is er met Lezen, de zwak-ste met Schrijven. De samenhangen zijn bovendien allemaal negatief. Met andere woorden: de hoogte van het eindexamencijfer zegt heel weinig over de leerwinst en voor zover dat wel het geval is, gaat een hoger cijfer gepaard met minder vooruit-gang.

13 Aangetekend dient te worden dat van ruim 350 studenten het totaal eindcijfer beschikbaar is, terwijl van

circa 215 studenten ook nog de deelcijfers bekend zijn. Van praktisch alle studenten met mbo als voorop-leiding ontbreken de deelcijfers. Verschillen in de achtergronden van beide groepen kunnen mogelijk van invloed zijn op verschillen in de hoogte van de correlaties.

33

5 De docentenoordelen 5.1 Inleiding Volgens de opzet van de pilot zouden er circa 40 studenten random geselecteerd worden om door docenten te worden beoordeeld. Het doel was om zo een indruk te verkrijgen van de productieve taalvaardigheid, die bij de afgenomen online tests te weinig aan bod kwam. Met behulp van deze gegevens zou meer inzicht kunnen wor-den verkregen in de validiteit van de tests. Bij de voormeting zijn de studenten beoordeeld op Writing, bij de nameting ook op Speaking. De Avans docenten hebben opdrachten ontwikkeld op het niveau A2, B1 en B2. Een voorbeeld voor Writing A2 is: ‘Where do you live? Describe your town/city? What do you like/hate about it? (5-10 lines). De opdrachten zijn door drie docenten beoordeeld qua Woordgebruik, Grammatica, Spelling, en Coherentie. Een voorbeeld voor Speaking A2 is: “What was the latest film/concert/music/book/tv-programme you particularly enjoyed? What did you like about it? Ook deze opdrach-ten werden door de docenten beoordeeld, in dit geval met betrekking tot Range, Ac-curacy, Fluency, Interaction, and Coherence. De beoordelingen vonden plaats in termen van de ERK-niveaus, waarbij ook tussenniveaus (bv. A2+, B1-) konden wor-den gebruikt. Uiteindelijk zijn er circa 50 studenten beoordeeld, bij de voormeting alleen op Wri-ting en bij de nameting op Writing en Speaking. Teneinde na te gaan in hoeverre de beoordeelde studenten een random selectie vormden, is de groep die wél is beoor-deeld vergeleken met de groep die níet is beoordeeld. Dat is gebeurd op alle achter-grondkenmerken en taalkenmerken (vgl. hoofdstuk 1). Daarbij is nagegaan of er op deze in totaal 36 kenmerken tussen beide groepen significante (p <0,05) en relevante (eta >0,15) verschillen zijn. Dat bleek voor geen enkel kenmerk het geval te zijn. Met andere woorden, de beoordeelde studenten lijken inderdaad een random trekking te zijn. Op basis van de beoordeling van Writing bij de nameting is de interrater betrouw-baarheid bepaald. Daarvoor waren van een groep van 41 studenten de niveaus, zoals beoordeeld door drie verschillende docenten, beschikbaar. De docenten hebben de beoordelingen onafhankelijk van elkaar gemaakt. Twee van de drie docenten gebruik-ten 11 niveaus, de derde 7. De gemiddelden van de eerste twee docenten waren onge-

34

veer gelijk, die van de derde was wat lager. Terwijl de correlaties tussen de oordelen van de docenten sterk waren (0,75, 0,82, 0,88), waren de Kappa’s (als maat voor de interrater betrouwbaarheid of overeenstemming) laag tot zeer laag (0,24, 0,08, -0,73).14 De reden voor deze zeer lage betrouwbaarheid is waarschijnlijk dat er erg veel categorieën (i.c. ERK-niveaus) zijn gebruikt in relatie tot de relatief geringe aantallen studenten, waardoor de kans dat een student door de ene beoordelaar net iets anders is beoordeeld dan door de andere zeer groot is. Ook speelt waarschijnlijk mee dat één docent minder niveaus heeft gebruikt dan de andere twee. Op grond van de drie sco-res is één score bepaald, het gemiddelde van de drie (omdat doorgaans ten minste twee docenten dezelfde score hebben, wordt dat meestal die score). De gemiddelde afstand tussen het hoogste en het laagste oordeel per student dat door de docenten werd gegeven bedroeg 0,48 ERK-niveau. Aangezien studenten slechts 5 tot 10 regels hadden geschreven per niveau-vraag, en er slechts van drie niveaus één vraag was om te beantwoorden, valt deze spreiding in docentoordelen niet groot te noemen. In de vergelijkingen met de Oxford OPT testscores is het gemiddelde van de drie docentscores gehanteerd. 5.2 De ontwikkeling van de taalvaardigheid De oordelen zijn gegeven in de vorm van niveaus, waarbij een sterke differentiatie is aangehouden. In onderstaande tabel staan de kengetallen. Tabel 5.1 – Kengetallen docentenoordelen niveaus voor- en nameting

voormeting nameting

Writing Speaking Writing

N 50 51 52 gem. 2,92 2,84 2,76 SD 0,61 0,79 0,72 minimum 1,33 1,00 1,00 maximum 4,33 4,67 4,00

14 Kappa kan als volgt worden geïnterpreteerd: <0,20 ‘poor’, 0,21-0,40 ‘fair’, 0,41-0,60 ‘moderate’, 0,61-

0,80 ‘good’, 0,81-1,00 ‘very good’ (Altman, 1991). D. Altman (1991). Practical statistics for medical research. London: Chapman and Hall.

35

Het gemiddelde niveau ligt volgens de docenten onder B1 (=3). De tabel laat zien dat, wanneer we de hele groep studenten nemen die aan de voormeting en/of nameting heeft deelgenomen, het niveau voor Writing tussen de voor- en nameting is afgeno-men. Wanneer we ons beperken tot de studenten die zowel aan de voor- als nameting hebben deelgenomen, resteert er nog een groep van 34 studenten. De verschilscore (nameting minus voormeting) bedraagt voor deze beperktere groep 0,06. Eerder hebben we de resultaten gepresenteerd van variantie- en covariantie-analyses met de Oxford OPT scores en niveaus. Het doel daarvan was nagaan of er verschillen zijn die te maken hebben achtergrondkenmerken van de studenten. Hierna worden de resultaten gepresenteerd van dezelfde analyses van de docentenoordelen op het ge-beid van Writing. Daarbij past een stevig voorbehoud: de aantallen studenten zijn voor sommige categorieën vrij klein. Om het gewicht van de bevindingen op hun waarde te kunnen schatten, worden de aantallen daarom ook steeds apart vermeld. Tabel 5.2 – Docentenoordeel Writing niveaus naar opleiding; verschilscores name-ting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorri-geerde niveaus

opleiding

N verschilscore nameting - voormeting

nameting afwijking t.o.v. gemid-delde zonder

correctie

nameting gecorrigeerd voor voorme-

ting

afwijking t.o.v. gemid-

delde na correctie

IV 15 0,04 3,00 -0,00 2,99 -0,01 P&A 14 0,07 3,38 0,38 3,17 0,17 TBK 2 0,50 2,17 -0,83 2,90 -0,09 WTB 3 -0,22 1,78 -1,22 2,32 -0,68 totaal 34 0,06 3,00 eta 0,29 0,71 0,34

36

Tabel 5.3 – Docentenoordeel Writing niveaus naar vooropleiding; verschilscores nameting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde niveaus

vooropleiding



correctie


ting


delde na correctie

havo 19 0,07 2,93 -0,12 2,97 -0,08 mbo 7 0,05 2,90 -0,14 2,94 -0,10 vwo 3 0,67 4,11 1,07 3,79 0,74 totaal 29 0,13 3,04 eta 0,42 0,60 0,42

Tabel 5.4 – Docentenoordeel Writing niveaus naar profiel; verschilscores nameting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde niveaus

profiel



correctie


ting


delde na correctie

CM 2 0,00 3,00 -0,09 2,96 -0,13 EM 12 0,25 3,28 0,19 3,21 0,12 NG 2 -0,17 3,67 0,58 3,00 -0,09 NT 6 0,11 2,55 -0,54 2,92 -0,17 totaal 22 0,15 3,10 eta 0,29 0,54 0,20

Ten aanzien van de opleiding blijkt dat TBK er qua leerwinst het meest vooruit is gegaan; WTB is er op achteruit gegaan. Wat betreft de vooropleiding zijn de studen-ten met vwo er het meeste op vooruit gegaan. Als het gaat om het profiel op de mid-delbare school blijkt dat EM er het meest op vooruit is gegaan; NG is erop achteruit gegaan. Wanneer we naar de resultaten op de nameting kijken, ontstaat deels een iets ander beeld. De IV- en P&A-studenten worden bij de nameting relatief hoog beoor-deeld en van die twee groepen de P&A-studenten het hoogst. Qua vooropleiding scoren de havo- en mbo-studenten ongeveer gelijk op de nameting. Als het gaat om het profiel op de middelbare school worden de NT-studenten het laagst beoordeeld.

37

5.3 Samenhangen eindexamencijfers en docentenoordelen In onderstaande tabel staan de samenhangen tussen de eindexamencijfers op de mid-delbare school met de docentenoordelen, voor zowel de voor- als nameting als ook de verschilscores Tabel 5.5 – Samenhangen eindexamencijfers middelbare school met de docentenoor-delen (correlaties)

docentenoordeel eindexamencijfers

totaal Schrijven Luisteren Spreken Lezen

Writing voormeting 0,25 0,64 0,12 0,55 0,37 Speaking nameting 0,33 0,40 0,28 0,47 0,48 Writing nameting 0,15 0,61 0,27 0,40 0,30 Writing verschilscores -0,25 0,27 0,18 0,35 0,07

De samenhangen met de eindexamencijfers totaal zijn zwak. De sterkste samenhang voor zowel voor- als nameting is er tussen Writing en Schrijven, wat natuurlijk niet onverwacht is. Er bestaat een overlap van tegen de 40% (nl. 0,64 x 0,64) tussen de beide soorten metingen. De samenhangen met Luisteren zijn het zwakst. Wellicht wel opmerkelijk is dat de samenhang tussen Speaking en Spreken niet sterker is en dat de samenhang tussen Writing op de voormeting en Spreken nog sterker is. Opvallend is ook de negatieve samenhang tussen de verschilscores en het totaal eindcijfer: hoe hoger het eindcijfer, hoe minder vooruitgang. Dat de correlaties met de deelcijfers positief zijn en die met het totaalcijfer negatief heeft, zoals eerder ook al opgemerkt, mogelijk te maken met het feit dat van de studenten met mbo als vooropleiding een geen deelcijfers beschikbaar zijn. 5.4 Samenhangen Oxford OPT met correctiefactor en docentenoordelen In Tabel 5.6 zijn we nagegaan wat de concrete samenhang is tussen de niveaus vol-gens de Oxford OPT met de correctiefactor van -1 en de niveaus volgens de docenten. Via deze kruistabel krijgen we inzicht in de overlap van beide indelingen.

38

Tabel 5.6 – Samenhangen Oxford OPT met correctiefactor van -1 en docentenoorde-len niveaus (aantallen) Oxford docentenoordeel Writing

A1 A2 A2+ B1- B1 B1+ B2- B2 B2+ C1- totaal

A1 1 0 0 0 0 0 0 0 0 0 1 A2 3 4 1 0 4 1 0 0 0 0 13 B1 0 2 2 4 6 6 2 0 0 0 22 B2 0 0 2 0 4 5 0 1 1 1 14 C1 0 0 0 0 0 1 1 0 0 0 2 totaal 4 6 5 4 14 13 3 1 1 1 52

Oxford docentenoordeel Speaking

A1 A2- A2 A2+ B1- B1 B1+ B2- B2 totaal

A1 1 0 0 0 0 0 0 0 0 1 A2 1 1 5 4 0 2 1 0 0 14 B1 0 0 3 3 3 5 3 2 2 21 B2 0 0 0 2 0 7 1 0 3 13 C1 0 0 0 0 0 2 0 0 0 2 totaal 2 1 8 9 3 16 5 2 5 51

De tabel laat zien dat er erg veel combinaties mogelijk zijn, wat met name komt door de vele tussenniveaus bij de docentoordelen. De kans dat beide soorten oordelen (van de test en van de docenten) niet helemaal overeenstemmen is dan ook bijzonder groot. In zijn algemeenheid kan echter wel worden geconcludeerd dat het niveau volgens de Oxford met een correctiefactor van -1 evident hoger ligt dan dat volgens de docenten.

39

6 De ITAV Placement Test 6.1 Inleiding De ITAV Placement Test is een cloze-test voor de Nederlandse situatie op basis van de Maple T.A. ontwikkeld door het Instituut voor Talen en Academische Vaardighe-den (ITAV) van de TU Delft. De test wordt daar gebruikt om de studenten op het juiste niveau in een cursus te laten instromen. Hierdoor is het een typisch ‘low-stakes’ test. De test wordt in Delft ook niet ingezet om verdere uitspraken te kunnen doen over het algemene niveau Engels. De ITAV Placement Test is alleen bij de nameting afgenomen. Van 292 studenten zijn de scores beschikbaar; dat is 68%. Van niet al die studenten is ook het niveau beschikbaar. Dat komt omdat het ITAV bij scores lager dan 40 niet differentieert en bij de niveau-indeling pas start bij scores van 40 ofwel niveau B1. Dit betekent dus dat de gerapporteerde niveaus een overschatting vormen van het niveau van de hele groep. 80 studenten hebben een score lager dan 40; het aantal studenten waarvan het niveau beschikbaar is bedraagt 215 (50%). Om te controleren of er sprake is van selectieve deelname, is de groep studenten met een score (292) vergeleken met de groep zonder score (135). Dat is – zoals eerder in hoofdstuk 1 toegelicht – gebeurd op alle achtergrondkenmerken (zoals opleiding, vooropleiding, sekse) en alle taalkenmerken (testscores, niveaus, beoordelingen) voortkomend uit de voormeting. Daarbij is nagegaan of er op deze in totaal 36 ken-merken tussen beide groepen significante (p <0,05) en relevante (eta >0,15) verschil-len zijn. Deze analyse liet, net als de eerder gepresenteerde overall analyse waarbij is nage-gaan of er verschillen zijn tussen degenen die al-dan-niet aan de nameting hebben deelgenomen, zien dat er slechts op één kenmerk een verschil bestond, te weten de opleiding: IV: 63% deelname ITAV Placement Test; P&A: 70%; TBK: 86%; WTB: 65%. (N.B. Aantal studenten bij TBK is 47.) Dit verschil is in statistische termen echter vrij gering: eta = 0,15. Er is daarmee dus geen grond om te veronderstellen dat de groep studenten die de ITAV Placement Test niet heeft gemaakt een specifieke groep vormt.

40

6.2 Verdelingskenmerken van de ITAV Placement Test In de volgende tabel staan de kengetallen van ITAV Placement Test, zowel qua score (= % goed; incl. scores <40) als niveau. Tabel 6.1 – Kengetallen ITAV Placement Test scores en niveaus

scores niveaus

N 292 212 gem. 50,51 3,50 SD 16,55 0,56 minimum 0 3 maximum 92 5

Gemiddeld genomen ligt de score net boven de 50, dat wil zeggen de helft van wat in principe te halen valt (namelijk 100%). De hier voorkomende niveaus zijn B1=3, B2=4 en C1=5. Het gemiddelde niveau is 3,50, dus tussen B1 en B2 in. 6.3 De ITAV Placement Test naar achtergrondkenmerken In onderstaande tabellen staan de gemiddelden uitgesplitst naar de achtergrondken-merken van de studenten; eerst de scores, daarna de niveaus.

41

Tabel 6.2 – ITAV Placement Test scores naar opleiding, vooropleiding en profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddelden)





Tabel 6.3 – ITAV Placement Test niveaus naar opleiding, vooropleiding en profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddelden)





Uit Tabel 6.2 blijkt dat er qua scores redelijk grote verschillen zijn naar opleiding. Dat heeft vooral te maken met de lage scores van de P&A-studenten. Het verschil met de hoogstscorende opleiding, IV, bedraagt ruim 10%-punten. De verschillen naar

42

vooropleiding zijn nog groter. De mbo-studenten scoren bijna 20%-punten lager dan de vwo-studenten. Tussen de profielen zijn de verschillen beperkt. Opvallend zijn de verschillen naar sekse: mannen scoren 10%-punten hoger dan vrouwen. Er zijn geen verschillen tussen studenten die dyslectisch zijn en studenten die dat niet zijn. Bij de twee vragen naar het aantal talen dat de studenten zeggen redelijk te beheersen en welke dat dan zijn valt op dat de studenten die zeggen twee talen te beheersen het hoogst scoren; dat zijn tegelijkertijd voornamelijk de studenten die zeggen het Neder-lands en Engels redelijk te beheersen. Bij Tabel 6.3 met de niveaus in plaats van scores zien we in grote lijnen een verge-lijkbaar beeld. Verschillen hebben te maken met het feit dat bij de niveaus de laagst-scorende studenten (<40% goed) niet zijn meegenomen. In de vorige twee tabellen hebben we één achtergrondkenmerk nog niet betrokken, namelijk de eindcijfers die de studenten in de vooropleiding hebben behaald op elk van de vaardigheden (Schrijven, Luisteren, Spreken, Lezen). In de volgende tabel staan de samenhangen in de vorm van correlatiecoëfficiënten tussen de ITAV Place-ment Test en deze eindcijfers. Tabel 6.4 – Samenhangen scores en niveaus ITAV Placement Test en eindcijfers (correlaties)

ITAV eindcijfers totaal Schrijf-

vaardigheid Luister-

vaardigheid Spreek-

vaardigheid Lees-

vaardigheid

scores 0,41 0,41 0,36 0,39 0,40 niveaus 0,41 0,36 0,24 0,31 0,41

De correlaties tussen de eindcijfers en ITAV Placement Test scores zijn matig sterk, rond de 0,40. Zoals verwacht, is de samenhang met de Luistervaardigheid iets lager, te weten 0,36. Bij de correlaties met de niveaus is er iets meer variatie, De sterkste samenhang is er met de Leesvaardigheid (0,41), de zwakste met de Luistervaardig-heid (0,24).

43

6.4 Samenhangen tussen de ITAV Placement Test en de Oxford OPT en docen-tenbeoordelingen

In de volgende tabel staan de samenhangen weergegeven tussen de ITAV Placement Test en de Oxford OPT, zowel voor de scores als niveaus. Tabel 6.5 – Samenhangen scores en niveaus ITAV Placement Test en Oxford OPT (nameting; correlaties)

ITAV Oxford totaal Usage Listening

scores 0,48 0,51 0,35 niveaus 0,37 0,41 0,23

De correlaties tussen de ITAV Placement Test en Oxford OPT scores zijn minder sterk dan wellicht verwacht zou worden.15 Kennelijk meten beide tests voor een be-langrijk deel verschillende vaardigheden. De samenhang met Usage scores is het sterkst. De correlaties tussen de niveaus zijn nog zwakker dan die met de scores. De samenhangen tussen de niveaus kan nog op een andere manier tot uitdrukking worden gebracht. In onderstaande kruistabel is weergegeven wat de overlap is tussen de niveaus van de ITAV Placement Test en de Oxford OPT.

15 P.M. Een correlatie kleiner dan 0,10 wordt doorgaans als triviaal beschouwd, van 0,10 - 0,30 klein, van

0,30 – 0,50 matig, van 0,50 – 0,70 sterk, van 0,70 – 0,90 zeer sterk. Bij 0,00 is er totaal geen samenhang, bij 1,00 is er volledige overlap.

44

Tabel 6.6 – Samenhangen ITAV Placement Test niveaus en Oxford OPT niveaus (aantallen)

ITAV Oxford totaal

A0 A2 B1 B2 C1 C2 totaal

B1 1 32 64 14 0 111 B2 3 4 44 37 2 90 C1 0 0 2 4 0 6 totaal 4 36 110 55 2 207

ITAV Oxford Usage

A0 A2 B1 B2 C1 C2 totaal

B1 5 36 58 12 0 111 B2 2 10 42 33 3 90 C1 0 0 2 2 2 6 totaal 7 46 102 47 5 207

ITAV Oxford Listening A0 A2 B1 B2 C1 C2 totaal

B1 0 5 30 54 19 3 111 B2 1 3 6 46 27 7 90 C1 0 0 0 4 2 0 6 totaal 1 8 36 104 48 10 207

In het bovenste paneel van de tabel, wat betrekking heeft op de Oxford OPT als ge-heel, zien we bijvoorbeeld dat 32 van de 207 studenten het niveau B1 heeft op zowel de ITAV Placement Test als de Oxford OPT; 44 hebben op beide tests B2 en 4 C1. In totaal is er dus overeenstemming voor 80 van de 207 studenten, ofwel ongeveer 40%. In totaal 117 (ruim 55%) van de gevallen is het Oxford OPT niveau hoger dan het ITAV Placement Test niveau en in 10 gevallen (5%) scoort de ITAV Placement Test hoger. In de navolgende tabel staan de samenhangen tussen de ITAV Placement Test en de docentenoordelen van de nameting. Bij deze correlaties dient bedacht te worden dat ze betrekking hebben op slechts 48 en 47, respectievelijk 31 en 32 studenten.

45

Tabel 6.7 – Samenhangen ITAV Placement Test scores en niveaus met de docenten-oordelen (nameting; correlaties)

ITAV docentenoordeel Writing Speaking

scores 0,61 0,65 niveaus 0,52 0,60

De samenhangen met de docentenoordelen liggen duidelijk hoger dan met de Oxford OPT. Ook hier zijn we via een kruistabel nagegaan hoe groot de overlap is qua niveau tussen de ITAV Placement Test en docentenoordelen. De resultaten staan in onder-staande tabel. Tabel 6.8 – Samenhangen ITAV Placement Test niveaus en docentenoordelen niveaus (aantallen)

ITAV docentenoordeel Writing A1 A2 A2+ B1 B1+ B2- B2 C1- totaal

B1 1 4 1 6 6 0 0 0 18 B2 0 0 0 4 4 3 1 1 13 totaal 1 4 1 10 10 3 1 1 31

ITAV docentenoordeel Speaking A2- A2 A2+ B1- B1 B1+ B2- B2 totaal

B1 1 5 4 2 5 1 0 1 19 B2 0 0 0 0 7 1 2 3 13 totaal 1 5 4 2 12 2 2 4 32

Als we zeer strikt te werk gaan (alleen bv. B1 x B1), dan is er in ongeveer een kwart van de gevallen overeenstemming tussen de ITAV Placement Test en de docenten. Als we de tabel minder strikt benaderen (bv. B1 x B1- en B1 en B1+), dan is er in ruim 50%, respectievelijk 41% van de gevallen van overlap. Dan is er ook in ruim 45%, respectievelijk 55% van de gevallen sprake van een hogere waardering door de ITAV Placement Test dan door de docenten.

47

7 Effecten van de taaltrainingsprogramma’s 7.1 Deelname programma’s Om, als daartoe aanleiding bestaat, hun niveau Engels op peil te brengen, konden de bij de voormeting laagstscorende studenten gedurende het studiejaar een van twee zelfstudieprogramma’s volgen, namelijk Campus Language Training (CLT) of Lin-guaTV (LTV). Degenen die daar gebruik van maakten, kregen daarvoor ter stimule-ring compensatie in de vorm van vrijstelling voor een ander studie-onderdeel. Het programma hield steeds bij wanneer een student inlogde en hoe lang hij ingelogd bleef. De geregistreerde inlogtijd (in uren, minuten en seconden) biedt geen garantie dat de student ook daadwerkelijk actief bezig is geweest. Echter, wanneer er geduren-de een bepaald aantal minuten geen actie werd ondernomen, werd de student automa-tisch uitgelogd. Althans, dit was de bedoeling, maar achteraf bleek dat dat door tech-nische onvolkomenheden van LinguaTV niet goed gefunctioneerd heeft en dat alle door LinguaTV geregistreerde tijden onbetrouwbaar en daarmee onbruikbaar zijn. Voor de andere methode, CLT, speelde dat probleem niet. Om toch een indicatie te krijgen van het aantal uren dat de studenten met LTV hebben gewerkt, is hen ge-vraagd daarvan een schatting te maken. De eerste sessie voor studenten betrof een instructie in het gebruik van het program-ma en duurde circa 30 minuten. Dat betekent dat de studenten met een inlogtijd van maximaal 30 minuten alleen die instructie hebben gevolgd en daarna niet verder zijn gegaan met het eigenlijke programma. Daarnaast is er nog een groep studenten die daarna nog wel een beperkte tijd ingelogd is geweest, maar die toch geen serieus werk hebben gemaakt van oefenen. Avans Hogeschool gaat er vanuit dat alle studen-ten die minder dan 2 uur inlogtijd hebben beschouwd kunnen worden als niet-deelnemers. Voor de CLT waren er van in totaal 76 studenten inlogscores beschikbaar, dat wil zeggen van hen was de tijd geregistreerd. Echter, 58% van deze studenten is minder dan 2 uur ingelogd geweest. Van de resterende 32 studenten bedraagt de gemiddelde inlogtijd 1080 minuten (18 uur), met een maximum van 86 uur. In verband met de geringe aantallen zijn daar twee categorieën van gevormd: 2–12 uur, en 12 uur of meer. Wat betreft LTV waren er van 58 studenten scores beschikbaar. Bijna 21% van hen had echter minder dan 2 uur met het programma gewerkt. De resterende 46 stu-denten hadden er gemiddeld 1619 minuten (27 uur) aan besteed, met een maximum

48

van 100 uur. Gemiddeld is er dus veel meer tijd met LTV gewerkt dan met CLT, en ook het maximum aantal uren ligt bij LTV veel hoger. Mogelijk dat het verschil te maken heeft met de registratie door het programma, dan wel de inschatting achteraf door de studenten zelf. Daarentegen heeft ongeveer de helft van de LTV studenten bij deze inschatting gebruik gemaakt van een logboek dat ze tijdens het werken met de leermethode hadden bijgehouden. 7.2 Deelname naar achtergrondkenmerken Voor deelname aan een programma waren op basis van de resultaten bij de voorme-ting de studenten met de laagste scores geselecteerd. In onderstaande tabel kan wor-den afgelezen hoe de verdelingen zijn van de geselecteerde studenten (hier: degenen met een score qua inlogtijd, dus incl. < 2 uur) met betrekking tot de niveaus en scores op de Oxford OPT bij de voormeting. Tabel 7.1 – Oxford OPT niveaus en scores (voormeting) naar selectie voor program-ma

niveaus score

A1 A2 B1 B2 C1 C2 N (=100%)

gem. gem.

geen 0% 2% 9% 54% 30% 4% 272 4,25 74,50 CLT 0% 5% 59% 33% 3% 0% 76 3,33 58,26 LTV 0% 2% 61% 35% 2% 0% 57 3,37 56,40 totaal 0% 3% 26% 47% 21% 3% 405 3,95 68,90

eta 0,54 0,50 0,50

Op de eerste plaats blijkt dat in totaal slechts 3% van de studenten onder het streefni-veau B1 zit, althans volgens de Oxford (zie ook hoofdstuk 4). Ook zijn er tussen beide programma’s praktisch geen verschillen qua Oxford OPT niveaus en scores. Er zijn wel flinke verschillen met de studenten die niet aan een programma hebben deel-genomen. Circa 65% van de studenten met inlogtijd op een programma heeft maxi-maal B1, terwijl dat voor de overige studenten ongeveer 10% is. Anderzijds zit min-der dan 3% van de studenten met een inlog-score op niveau C, terwijl dat bij de overige studenten 34% is. Gemiddeld genomen zitten de niet-geselecteerde studenten één niveau lager dan de geselecteerde studenten. Ook bij de Oxford OPT scores zien we deze verschillen terug: ongeveer 17 punten, wat overeenkomt met één niveau.

49

Bij bovenstaande past een belangrijk voorbehoud: eerder hebben we er op gewezen dat de Oxford OPT waarschijnlijk een te hoog niveau indiceert (zie hoofdstuk 4). Als we daar rekening mee zouden houden en een correctie van één niveau zouden hante-ren (dus t/m B1 i.p.v. tot B1), dan zit nog circa 35% van de geselecteerde studenten boven het streefniveau. De aantallen studenten in Tabel 7.1 hebben betrekking op álle studenten met een inlogscore. Wanneer de studenten met minder dan 2 uur inlogtijd worden verwijderd, is het uiteindelijke te analyseren aantal vrij gering. In Tabel 7.2 staat de verdeling van deze studenten. Tabel 7.2 – Oxford niveaus en scores (voormeting) naar deelname programma (≥ 2 uur)

niveaus score

A1 A2 B1 B2 C1 C2 N (=100%)

gem. gem.

geen 0% 2% 16% 52% 25% 4% 328 4,11 72,02 CLT 0% 9% 63% 25% 3% 0% 32 3,22 56,03 LTV 0% 2% 69% 27% 2% 0% 45 3,29 55,38 totaal 0% 3% 26% 47% 21% 3% 405 3,95 68,90

eta 0,45 0,40 0,40

De tabel laat nogmaals zien dat de aantallen studenten die ook daadwerkelijk aan een programma hebben deelgenomen relatief gering zijn. Dit heeft vooral consequenties voor de mogelijkheden om verfijnde analyses te verrichten. We zien ook dat deze groep iets lager scoort dan de totale groep met inlogtijd (zie Tabel 7.1). Het aantal studenten dat met een van beide methodes heeft geoefend is relatief be-perkt, en ook zijn de verdelingen van de inlogscores verre van ideaal. Met deze voor-behouden in ons achterhoofd hebben we toch een poging gedaan om inzicht te krijgen in de samenhang tussen de inlogtijd per methode en enkele achtergrondkenmerken. In de volgende tabel hebben we de inlogtijd (in uren) uitgesplitst naar opleiding, voorop-leiding, profiel, eindexamencijfer en het niveau van de Oxford PT bij de voormeting.

50

Tabel 7.3 – Gemiddeld aantal uren deelname CLT naar achtergrondkenmerken

opleiding gem. N vooropl. gem. n profiel gem. N

IV 24 10 havo 26 18 CM 9 4 P&A 20 14 mbo 9 13 EM 38 10 TBK 6 2 vwo 2 1 NG 11 3 WTB 7 6 NT 10 2

eindcijfer gem. N Oxford gem. n

4 5 1 A2 6 3 5 17 5 B1 16 20 6 20 16 B2 18 8 7 11 6 C1 86 1

Tabel 7.4 – Gemiddeld aantal uren deelname LTV naar achtergrondkenmerken

opleiding gem. N vooropl. gem. N profiel gem. N

IV 38 15 havo 30 30 CM 43 6 P&A 30 17 mbo 24 14 EM 34 10 TBK 11 9 vwo 10 1 NG 39 3 WTB 13 5 NT 15 12

eindcijfer gem. N Oxford gem. N

4 3 2 A2 2 1 5 38 7 B1 30 31 6 25 26 B2 22 12 7 25 7 C1 8 1 8 60 1

De tabellen laten zien dat er duidelijke verschillen zijn in het aantal uren dat de stu-denten hebben geoefend. Voor sommige achtergrondkenmerken is de trend voor deelname aan CLT vergelijkbaar aan die voor deelname aan LTV, voor andere ken-merken niet. Zo hebben qua opleiding IV en P&A het meeste aantal uren geoefend (terwijl deze beide opleidingen qua instapniveau niet ongunstiger scoren dan de ande-re opleidingen; vgl. Tabel 3.9), zowel bij CLT als LTV. Anderzijds scoren bij CLT de studenten met instapniveau B2 het hoogst, terwijl dat bij LTV B1 is.

51

7.3 Taalvaardigheid naar deelname programma De centrale vraag van deze pilot luidt met welk programma de studenten het beste kunnen oefenen om hun te lage instapniveau op peil te brengen. In Tabel 7.5 hebben we de resultaten van enkele analyses samengebracht. In deze tabel staan voor de Oxford OPT de verschilscores (dus de leerwinst) van de scores en niveaus.16 Deze scores zijn uitgesplitst naar deelname aan een programma. Er is daarbij een vijfdeling aangehouden: studenten die niet geselecteerd zijn of wel geselecteerd zijn maar min-der dan 2 uur ingelogd zijn geweest; studenten die aan CLT hebben deelgenomen en tussen de 2 en 12 uur ingelogd zijn geweest, dan wel 12 uur of meer waren ingelogd; studenten die hebben aangegeven tussen de 2 en 12 uur met LTV te hebben gewerkt en studenten die zeggen dat 12 uur of meer te hebben gedaan. In de onderste rij staan de gegevens voor de totale steekproef. In de tabel staan de gemiddelden en aantallen studenten waarop ze betrekking hebben vermeld. Voor de totale steekproef bovendien nog de standaarddeviaties. (De gegevens voor de totale steekproef hebben we ook al in eerdere hoofdstukken gepresenteerd.) Tabel 7.5 – Verschilscores Oxford OPT scores en niveaus naar deelname programma

deelname programma

Oxford scores

verschilscores

Oxford niveaus

verschilscores

niet of <2u gem. -2,65 -0,08 N 212 209 CLT 2-12u gem. -1,75 0,00 N 20 20 CLT ≥12u gem. -0,27 0,09 N 11 11 LTV 2-12u gem. 1,13 0,06 N 16 16 LTV ≥12u gem. 0,36 0,07 N 28 28

totaal gem. -1,99 -0,04 SD 13,77 0,70 N 287 284

16 In principe is het mogelijk ook verschilscores voor de docentenoordelen Writing te analyseren. De aantal-

len studenten zijn echter zo klein dat we daar uiteindelijk vanaf hebben gezien.

52

Uit de tabel volgt dat de hele steekproef er gedurende het eerste studiejaar wat betreft de scores op de Oxford OPT 1,99 punten op achteruit is gegaan; dat is – zoals we eerder al constateerden - minder dan een tiende niveau. Niettemin, het is een terugval. De groep studenten die niet is uitgenodigd voor deelname aan een programma of minder dan 2 uur ingelogd is geweest kent de grootste terugval (-2,65). Binnen de groep die heeft deelgenomen aan de CLT zien we dat de studenten met minder dan 12 uur inlogtijd minder terugval kent, en de studenten met 12 uur of meer inlogtijd nog weer minder terugval (-1,75, resp. -0,27). Met andere woorden deelname aan CLT heeft de terugval iets weten te beperken, waarbij een grotere tijdsinvestering gepaard gaat met minder terugval. De studenten die met LTV hebben gewerkt kennen geen terugval, maar een geringe leerwinst. Voor de studenten met 2 tot 12 uur oefentijd bedraagt die ruim 1 punt, en voor studenten met 12 uur of meer eenderde punt. De gegevens die betrekking hebben op de Oxford OPT niveaus vertonen een vergelijk-baar patroon, alhoewel de onderliggende cijfers veel grover zijn. Bij wijze van exploratie is ook nog nagegaan hoe de studenten die relatief veel uren in een programma hebben gestoken hebben gescoord. Dat is gebeurd voor de studen-ten die meer dan 40 uur hebben geoefend. Deze groep is vrij klein en daarom zijn beide programma’s hier samengevoegd. Het betrof in totaal 12 studenten met qua scores een gemiddelde leerwinst van -2,33 (en -0,17 niveau) op de Oxford OPT. Nadere beschouwing van deze groep bracht echter aan het licht dat die één zoge-noemde ‘outlier’ bevat, een student die met een score van -63 extreem laag scoorde (in vergelijking tot de andere studenten in deze kleine groep) en daarom het gemid-delde onevenredig beïnvloed. Wanneer deze student buiten beschouwing wordt gela-ten, bedraagt de gemiddelde leerwinst van de resterende 11 studenten 3,18 (en 0,09 niveau), dus meer dan die van de andere categorieën. Als we alleen geïnteresseerd zijn in de mogelijke leerwinst van de studenten op de Oxford OPT dan luidt op basis van de testscores in Tabel 7.5 de conclusie dat de LTV het beste uit de bus komt en ook met een ‘positieve’ leerwinst eindigt. Vergeleken met de studenten die helemaal niets hebben gedaan bedraagt het verschil met de stu-denten die tussen de 2 en 12 hebben geoefend een kleine 4 punten (1,13 - (-) 2,65), dus ongeveer een kwart niveau. Voor de onderlinge vergelijking van het effect van CLT- en LTV-deelname luidt hiermee de conclusie dat het effect vrij klein is, maar dat als Avans Hogeschool wil voorkomen dat studenten qua Engelse taalvaardigheid terugvallen of wil bewerkstelligen dat de studenten erop vooruitgaan men het beste LTV kan inzetten. Voor deze conclusie baseren we ons op het gegeven dat de ken-merken van degenen die geselecteerd zijn voor een programma en daar uiteindelijk ook mee aan de slag zijn gegaan vergelijkbaar zijn (zie Tabel 7.1 en 7.2). Als we echter ook nog een vergelijking willen maken met de studenten die niet of minder dan 2 uur aan een programma hebben deelgenomen is er het punt dat er wél verschillen

53

zijn in achtergrondkenmerken, met name wat betreft instapniveau, waardoor de ver-gelijking strikt genomen niet helemaal zuiver is. In een analyse zou daarom voor deze aanvangsverschillen gecontroleerd moeten worden. De resultaten van een dergelijke analyse waarin gecorrigeerd is voor verschillen in de scores op de voormeting staan in Tabel 7.6. Tabel 7.6 – Oxford OPT scores naar deelname programma; ongecorrigeerde scores nameting en voor voormeting gecorrigeerde scores

deelname programma

nameting afwijking t.o.v. gemiddelde zonder

correctie

nameting gecorrigeerd voor

voormeting


correctie

niet of <2u 70,53 3,83 67,48 0,78 CLT 2-12u 53,75 -12,95 62,72 -3,98 CLT ≥12u 58,91 -7,79 65,38 -1,32 LTV 2-12u 56,06 -10,64 65,42 -1,28 LTV ≥12u 56,07 -10,63 64,90 -1,80 totaal 66,70 eta 0,38 0,08

Uit de tabel volgt dat er op de nameting in eerste instantie grote verschillen zijn tus-sen de deelname-categorieën. De studenten die niet hebben deelgenomen aan een programma scoren bijna 4 punten boven het gemiddelde van alle studenten; de stu-denten die tussen de 2 en 12 uur aan CLT hebben deelgenomen zitten er 13 punten onder. Wanneer echter rekening wordt gehouden met verschillen in instapniveau, wordt de afstand tussen de categorieën substantieel gereduceerd. Voor de studenten die niet hebben deelgenomen aan een programma betekent dit dat ze nog steeds een (zeer) kleine voorsprong hebben. Van de studenten die wel hebben deelgenomen presteren de studenten met 2-12 uur LTV en 12 uur of meer CLT het minst slecht.17

17 In Tabel 7.4 hebben we een relatie gelegd tussen de leerwinst van de studenten op de Oxford OPT en de

deelname aan een zelfstudieprogramma. Bij wijze van verkenning zijn we ook nagegaan wat de kenmer-ken zijn van studenten die enige vooruitgang hebben geboekt (voor deze talige en achtergrondkenmerken zie paragraaf 1.5). We willen daarbij aantekenen dat bij deze ‘omgekeerde volgorde’ exercitie in metho-dologisch opzicht vraagtekens kunnen worden geplaatst. We hebben verschillende opties geprobeerd, waarbij we steeds twee groepen van studenten hebben vergeleken, bijvoorbeeld de studenten met een vooruitgang van 8 punten of meer versus studenten met minder dan 8 punten vooruitgang (= een half ni-veau). Welke indeling we ook namen, de aantallen in de groep studenten met de meeste vooruitgang wa-ren dermate gering dat we het niet verantwoord achten hiermee verder te gaan.

55

8 De evaluatie van de tests en programma’s door de studenten 8.1 Inleiding Om een indruk te verkrijgen van hoe de studenten het maken van de tests en het wer-ken met de beide programma’s hebben ervaren, is hen gevraagd een online vragenlijst in te vullen. De studenten hebben de tests meteen na het maken daarvan beoordeeld. Voor de LinguaTV Placement Test, de Garnet I-Test en de Oxford OPT was dit na de voormeting, en voor de ITAV Placement Test na de nameting. De beide programma’s zijn eveneens na de nameting beoordeeld. 8.2 De evaluatie van de tests Een eerste vraag met betrekking tot hun ervaringen luidde: Wat vond je van de in-structies bij de verschillende testafnames? Ze konden kiezen uit vijf antwoordcatego-rieën: (1) zeer onduidelijk, (2) onduidelijk, (3) neutraal, (4) duidelijk, en (5) zeer duidelijk. In Tabel 8.1 staan de reacties. Allereerst het percentage studenten dat elk van de vijf antwoorden koos, en vervolgens de gemiddelde score (op basis van de scores 1 ... 5). Deze gegevens zijn uitgesplitst naar methode en vervolgens opleiding.

56

Tabel 8.1 – Wat vond je van de instructies bij de verschillende testopgaves?18

test opleiding zeer onduidelijk

onduidelijk neutraal duidelijk zeer duidelijk

N gem.

Lingua AMB 6% 17% 31% 40% 5% 272 3,19 AI&I 1% 15% 22% 49% 11% 136 3,48 totaal 408 3,33

Garnet AMB 3% 17% 25% 45% 9% 269 3,38 AI&I 2% 10% 27% 51% 9% 134 3,55 totaal 403 3,46

Oxford AMB 3% 13% 25% 49% 12% 269 3,54 AI&I 2% 4% 24% 57% 13% 137 3,75 totaal 403 3,65

ITAV AMB 9% 21% 31% 36% 2% 127 2,97 AI&I 7% 21% 40% 26% 7% 58 3,05 totaal 185 3,01

Het oordeel van de studenten over de instructie ligt op een enkele uitzondering na steeds iets boven ‘neutraal’ richting ‘duidelijk’. Daarbij is AI&I steeds wat positiever dan AMB. Het meest positief is men over de Oxford OPT, het minst over de ITAV Placement Test. Bij de tweede vraag ging het erom of de studenten het invullen van de antwoorden prettig vonden. De antwoorden staan in Tabel 8.2; ze schommelen rond het oordeel ‘neutraal’. Ook hier scoort de Oxford OPT het gunstigst en da ITAV Placement Test het minst gunstig.

18 Tengevolge van afrondingen en doordat er in een enkel geval niet alle studenten alle vragen hebben

beantwoord kan het in deze en volgende tabellen voorkomen dat de percentages niet tot 100 optellen.

57

Tabel 8.2 – Het invullen van de antwoorden was:

test opleiding zeer onaan-genaam

onaan-genaam

neutraal aangenaam zeer aangenaam

N gem.





Bij de derde vraag ging het om de duur van de testafname. De antwoordcategorieën voor de drie eerste tests wijken daarbij af van die van de laatste. Er zijn flinke ver-schillen wat betreft de tijd dat de studenten met de tests bezig zijn geweest. Bij de LinguaTV Placement Test betrof het gemiddeld zo’n 50 minuten, bij de Garnet I-Test 80 minuten, bij de Oxford OPT 55 minuten, en bij de ITAV Placement Test (geschat) 30 minuten. Tabel 8.3 – Hoe lang heb je over de test gedaan?

test opleiding <30 min. <1 uur <1.30 uur <2 uur >2 uur N gem.




test opleiding <15 min. 15-25 min. >25 min. N gem.

ITAV AMB 9% 41% 49% 127 2,38 AI&I 9% 53% 34% 58 2,19 totaal 185 2,28

58

Een volgende vraag ging over de lengte van de test; zie Tabel 8.4. De gemiddelde scores liggen steeds vanaf ‘neutraal’ richting ‘aangenaam’. Het gunstigst oordelen de studenten over de Garnet I-Test, het ongunstigst over de ITAV Placement Test. Dit laatste bevreemdt enigszins, want uit Tabel 8.3 weten we dat deze test het kortst duurde van de vier afgenomen tests. Tabel 8.4 – Wat vond je van de lengte van de test?

test opleiding zeer onaan-genaam

onaan-genaam

neutraal aangenaam zeer aangenaam

N gem.





De volgende vraag ging over de ervaren moeilijkheid van de tests. In Tabel 8.5 staan de oordelen. In z’n algemeenheid liggen de reacties rond ‘het ging wel’, maar er zijn daarbij wel verschillen. Men vond de Garnet I-Test het moeilijkst en de ITAV Place-ment Test het gemakkelijkst.

59

Tabel 8.5 – Hoe moeilijk vond je de test?

test opleiding erg moeilijk

moeilijk ging wel

makkelijk erg makkelijk

N gem.





Bij de zesde vraag moesten de studenten aangeven in hoeverre met de test hun niveau Engels echt werd vastgesteld. Uit Tabel 8.6 blijkt dat bij de Oxford OPT en de Lin-guaTV Placement Test het oordeel rond ‘redelijk’ ligt. Over de ITAV Placement Test is men minder positief; daar oordeelt men gemiddeld iets boven ‘klein beetje’. Tabel 8.6 – De mate waarin, volgens jou, de net gemaakte test je niveau Engels echt meet:

test opleiding helemaal niet

klein beetje

redelijk goed heel goed

N gem.

Lingua AMB 6% 31% 39% 20% 4% 272 2,84

AI&I 4% 27% 41% 23% 4% 136 2,95 totaal 408 2,90




60

Als laatste vraag konden de studenten een algemeen oordeel geven over hun ervaring als gebruikers. De antwoorden worden in Tabel 8.7 samengevat. Voor de drie eerste tests liggen de reacties tussen ‘niet goed/niet slecht’ en ‘redelijke toets’ in. Het posi-tiefst is men over de Oxford, het minst positief over de ITAV Placement Test. Tabel 8.7 – Algemeen oordeel gebruikerservaring:

test opleiding waarde-loos

niet zo best

niet goed / niet slecht

redelijke toets

goede toets

N gem.





We hebben geprobeerd de antwoorden op deze zeven vragen samen te vatten tot een totaaloordeel. Daartoe hebben we per vraag rangordescores (1 – 4) toegekend aan de gemiddelden op elk van de vier tests en deze gesommeerd. Hoe lager de totaalscore, hoe positiever het totaaloordeel. Bedacht moet worden dat dit een grove benadering betreft. De Oxford OPT wordt met 11 punten overduidelijk als beste beoordeeld, op afstand ex aequo met 18 punten gevolgd door de LinguaTV Placement Test en de Garnet I-Test. De ITAV Placement Test wordt met 23 punten duidelijk het minst positief beoordeeld. 8.3 De evaluatie van de programma’s De studenten hebben ook enkele vragen beantwoord over hun ervaringen met het door hen gebruikte programma. Een eerste vraag luidde: Hoe prettig vond je de leer-methode om mee te werken? Ze konden kiezen uit vijf antwoordcategorieën: (1) zeer onprettig, (2) onprettig, (3) neutraal, (4) prettig, en (5) zeer prettig. In Tabel 8.8 staan de reacties. Allereerst het percentage studenten dat elk van de vijf antwoorden koos,

61

en vervolgens de gemiddelde score (op basis van de scores 1 ... 5). Deze gegevens zijn uitgesplitst naar methode en vervolgens opleiding. Tabel 8.8 – Hoe prettig vond je de leermethode om mee te werken?

methode opleiding zeer onprettig

onprettig neutraal prettig zeer prettig

N gem.

CLT AMB 32% 18% 32% 18% 0% 28 2,22 AI&I 20% 50% 30% 0% 0% 10 2,10 totaal 38 2,16

LTV AMB 33% 22% 33% 11% 0% 18 2,36 AI&I 35% 25% 35% 5% 0% 20 2,10 totaal 38 2,23

Opvallend is dat de studenten niet echt positief over de leermethode oordelen. Niemand vond de methode zeer prettig om mee te werken, en slechts enkelen vonden het prettig. En dat geldt voor beide methodes en opleidingen. De gemiddelde scores liggen iets boven de 2, wat staat voor ‘onprettig’. Er zijn geen noemenswaardige verschillen tussen de beide programma’s en opleidingsclusters. Een tweede vraag luidde: Hoeveel Engels heb je ervan geleerd? De antwoordcatego-rieën waren: (1) niks, (2) weinig, (3) gaat wel, (4) best veel, en (5) super veel. In Tabel 8.9 staan de resultaten. Tabel 8.9 – Hoeveel Engels heb je ervan geleerd?

methode opleiding niks weinig gaat wel best veel super veel N gem.

CLT AMB 35% 29% 35% 0% 0% 17 2,00 AI&I 15% 45% 40% 0% 0% 20 2,25 totaal 37 2,13

LTV AMB 40% 16% 36% 8% 0% 25 2,12 AI&I 0% 60% 40% 0% 0% 10 2,40 totaal 35 2,26

Ook over de hoeveelheid Engels die de studenten met de leermethode geleerd hebben zijn ze niet echt positief. Gemiddeld genomen ‘weinig’; men is iets positiever over LTV dan CLT, en AI&I is wat positiever dan AMB.

62

De laatste vraag luidde: Zou je deze leermethode aanraden aan andere eerstejaars studenten die hun Engels graag op een of andere manier willen bijspijkeren? (Houd rekening met het feit dat er dan ook modules van hogere niveaus dan jullie gezien hebben beschikbaar zijn.) De antwoordmogelijkheden waren: (1) absoluut niet, (2) mwah, (3) neutraal, (4) och ja, best wel, en (5) zeker wel. In Tabel 8.10 staan de reacties. Tabel 8.10 – Zou je deze leermethode aanraden aan andere eerstejaars studenten die hun Engels graag op een of andere manier willen bijspijkeren?

methode opleiding absoluut niet

mwah neutraal och ja, best wel

zeker wel

N gem.

CLT AMB 31 38 6 25 0 23 2,25 AI&I 25 25 30 20 0 10 2,45 totaal 33 2,35

LTV AMB 43 26 13 13 4 16 2,09 AI&I 20 50 20 10 0 20 2,20 totaal 36 2,14

Geen van beide programma’s is volgens de studenten een aanrader; hun gemiddelde oordeel zit dichter tegen ‘mwah’ aan dan tegen ‘neutraal’. Het oordeel over CLT is wat positiever dan over LTV, en AI&I is positiever dan AMB.

63

9 Samenvatting en conclusies 9.1 Probleemstelling Een belangrijk deel van de Avans-studenten die in het tweede studiejaar met het curriculum Engels starten beschikt niet over het vereiste minimumniveau B1. Avans Hogeschool heeft daarom in het studiejaar 2011/12 een onderzoekspilot uitgevoerd die een antwoord moet geven op twee vragen: Met behulp van welke instrumenten (i.c. e-tests) kan het beste het instapniveau

Engels van de studenten worden vastgesteld? Welke e-learning methode is het meest geschikt om studenten met een te laag in-

stapniveau Engels te ondersteunen bij het alsnog bereiken van het vereiste niveau? De onderzoekspilot dient Avans Hogeschool te ondersteunen bij het zo goed mogelijk opzetten van een extra curriculum Engels voor studenten gedurende het eerste studie-jaar, zodat deze allemaal met ten minste niveau B1 kunnen starten in het tweede jaar wanneer het curriculum Engels begint. Daartoe dient allereerst nagegaan te worden welke (online) instrumenten (‘e-testing’) ingezet kunnen worden bij het op betrouw-bare en valide wijze bepalen van welke studenten extra training nodig hebben en welke niet. Vervolgens moet worden onderzocht welke e-learning methode daarbij het meest efficiënt en effectief is. 9.2 Opzet onderzoekspilot Bij de start van het studiejaar hebben 427 studenten drie online tests gemaakt, de LinguaTV Placement Test, de Garnet I-Test en de Oxford Online Placement Test (hierna: de Oxford OPT).19 Op basis van de resultaten van deze tests is aan ongeveer de helft van deze studenten, degenen met de laagste scores, gevraagd deel te nemen aan een docentloze online leermethode; de helft werd random toegewezen aan de LinguaTV Language Training en de andere helft aan de Campus Language Training.20 Deze studenten konden de rest van het studiejaar zelfstandig oefenen met een van beide methodes. 19 Over de resultaten van deze voormeting is eerder gerapporteerd in G. Driessen (2012). De taalvaardig-

heid Engels van Avans-studenten bij de intake. Nijmegen: ITS. 20 De verantwoording van de selectie van de laagstscorende studenten staat beschreven in G. Driessen & S.

Oomens (2011). Toelichting selectie laagstscorende AMD-studenten. Nijmegen: ITS.

64

Op basis van tijdens de looptijd van de pilot nieuw beschikbaar gekomen informatie en de bij de testafnames opgedane ervaringen hebben enkele wijzigingen plaatsge-vonden in de opzet van de pilot. De belangrijkste was dat bij de nameting op het eind van het studiejaar niet nogmaals alle drie de tests zijn afgenomen, maar alleen nog de Oxford OPT. Omdat was gebleken dat bij alle drie de tests de productieve taalvaar-digheid onvoldoende tot zijn recht kwam (zie bijlage), is bovendien bij de nameting ter validatie een extra cloze-test afgenomen, te weten de ITAV Placement Test. Daar-naast zijn, eveneens ter validatie, circa 50 studenten bij de voor- en nameting door hun docenten beoordeeld op hun productieve taalvaardigheid; dit maakte al onderdeel uit van de oorspronkelijke opzet. Het verschil tussen de resultaten op de Oxford OPT bij de na- en voormeting geeft een indruk van de leerwinst, en door deze te relateren aan de gevolgde leermethode en de intensiteit waarmee de studenten daaraan hebben gewerkt kan worden vastge-steld welke methode het meest effectief is. Aan de testafnames bij de nameting hebben 311 studenten deelgenomen. Analyse wees uit dat de tussentijdse uitval niet selectief was, dat wil zeggen dat de samenstel-ling van de groep studenten die aan de voormeting heeft deelgenomen niet afwijkt van de groep die aan de nameting heeft deelgenomen. 9.3 Het niveau volgens de Oxford OPT en volgens de docenten De Oxford OPT richt zich op de receptieve taalkennis en –vaardigheid. Aangezien de productieve taalvaardigheid moeilijker is dan de receptieve, geeft de Oxford OPT daarom mogelijk een te positief beeld van het algehele niveau. Om die reden heeft er in de pilot ook een beoordeling door docenten plaatsgevonden gericht op de produc-tieve taalvaardigheid, bij de voormeting qua Writing en bij de nameting qua Speaking en Writing. Door de resultaten op beide instrumenten te vergelijken kan een indicatie worden verkregen van een mogelijk te hoge inschatting door de Oxford OPT en daar-voor een correctiefactor worden bepaald. De resultaten lieten zien dat de Oxford OPT het niveau van de studenten systematisch hoger inschat dan de docenten, gemiddeld één heel niveau. Om een goed beeld te krijgen van de algehele taalvaardigheid Engels, waarin ook de productieve taalvaar-digheid is verdisconteerd, zou er daarom een correctiefactor op de Oxford OPT die-nen te worden toegepast van minus één niveau.

65

9.4 Het aandeel studenten met een (te) laag instapniveau Voor Avans Hogeschool is het van belang een inschatting te kunnen maken van het aantal studenten dat na het pilot-jaar een bijscholingstraject zou moeten gaan volgen. In principe zou het moeten gaan om studenten die niet op niveau B1 (volgens het Europees Referentie Kader, ERK) zitten. Om daar een goed beeld van te krijgen zijn verschillende indicatoren uitgeprobeerd. In onderstaande tabel worden de resultaten van deze analyses samengevat, met daarbij een uitsplitsing naar vooropleiding en opleiding. In de tabel staat het percentage studenten dat bij de voormeting niet het B1 niveau heeft gehaald. Achtereenvolgens betreft het: het gemiddelde niveau van de drie bij de voormeting afgenomen tests; het Oxford OPT niveau; het Oxford OPT niveau met de correctiefactor van -1 (zie de vorige paragraaf); het Oxford OPT ni-veau nader gedifferentieerd naar 10 scorepunten per niveau, dus B1 t/m 50 punten (bij de Oxford OPT niveau-indeling wordt steeds uitgegaan van intervallen van 20 pun-ten; B1 betreft het interval 41-60 punten); het Oxford OPT niveau nader gedifferenti-eerd naar 10 scorepunten per niveau met de correctiefactor van -1. Tabel 9.1 – Percentage studenten dat bij de voormeting volgens de verschillende indi-catoren niet voldoet aan het B1 criterium, per vooropleiding, per opleiding en voor alle studenten



gemiddelde 3 tests 16,8 38,7 - 16,6 27,8 17,0 21,6 21,2 Oxford 0,7 11,2 - 2,1 4,8 1,9 2,3 3,0 Oxford -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6 Oxford 50 10,9 23,6 - 12,1 16,0 13,5 11,5 13,3 Oxford 50 -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6

Het overzicht laat zien dat er flinke verschillen bestaan tussen de indicatoren. Wan-neer de keuze wordt bepaald door de score op de Oxford OPT, bedraagt het totaal aantal kandidaten voor een bijscholingstraject slechts 3%. Wanneer er echter vanuit wordt gegaan dat de Oxford OPT onvoldoende de productieve vaardigheden meet en er een correctiefactor van -1 moet worden toegepast, dan stijgt het aandeel kandidaten met ruim 25%-punten. Wanneer wordt uitgegaan van het tussenniveau B1 (dus t/m score 50), dan wordt het percentage op basis van het gecorrigeerde Oxford OPT ni-veau ongeveer gehalveerd. Omdat de drie tests samen hier een gevarieerd beeld geven van de taalvaardigheid, geeft het gemiddelde daarvan waarschijnlijk wel de optimaal mogelijke indicatie van het niveau en daarmee van het aandeel studenten dat extra

66

training behoeft. Als die lijn wordt gevolgd, dan betekent dat dat het gecorrigeerde Oxford OPT niveau de meest geschikte indicator zou zijn en de beste indicatie geeft van het aandeel studenten dat een aanvullend zelfstudieprogramma zou moeten gaan volgen. 9.5 De Oxford OPT De Oxford OPT is de enige test die bij zowel voor- als nameting is afgenomen. Hij kent twee onderdelen, Use of English and Listening Ability. Op basis van de resulta-ten op deze onderdelen is nog een totaalscore berekend. Er zijn 287 studenten die deze test bij beide metingen hebben gemaakt. Door de verschilscores te berekenen (nameting minus voormeting) is de leerwinst bepaald. Deze blijkt negatief te zijn: gemiddeld genomen is de vaardigheid Engels tussen begin en eind studiejaar afgeno-men, het meest voor Listening. Uitgedrukt in termen van ERK-niveaus gaat het om een terugval van eentiende niveau, dus een betrekkelijk kleine terugval, maar niette-min toch een terugval. Het gemiddelde niveau volgens de Oxford OPT zit tegen B2 aan. Minus de correctiefactor van -1 staat dit gelijk aan een gemiddelde niveau van B1. Nagegaan is of er verschillen in ontwikkeling van testscores zijn (in termen van leer-winst) die te maken hebben met achtergrondkenmerken van de studenten. Met be-trekking tot de vier deelnemende opleidingen blijkt dat TBK een geringe vooruitgang heeft geboekt (minder dan eentiende niveau); IV kent de grootste terugval (eenvijfde niveau). Wat betreft vooropleiding scoort vwo het minst slecht en mbo het slechts. De verschillen tussen de drie vooropleidingen zijn echter gering. Ten aanzien van het profiel dat de studenten op de middelbare school hadden kent CM als enige een ge-ringe positieve ontwikkeling; NG kent een terugval van ruim een kwart niveau. 9.6 De docentenoordelen Circa 50 studenten zijn elk door drie docenten Engels beoordeeld op hun productieve taalvaardigheid, bij de voormeting qua Writing en bij de nameting qua Writing en Speaking. Het doel was om zo meer inzicht te verkrijgen in de validiteit van de afge-nomen tests (zie een eerdere paragraaf). Hoewel de correlaties tussen de drie beoorde-lingen sterk waren (rond 0,80), was de interrater betrouwbaarheid bijzonder laag (Kappa’s 0,24, 0,08 en -0,73). Waarschijnlijk komt dit doordat er erg veel categorieën (i.c. ERK-niveaus) zijn gebruikt in relatie tot de relatief geringe aantallen studenten, en omdat één docent minder niveaus heeft gebruikt dan de andere twee.

67

De gemiddelde afstand tussen het hoogste en het laagste oordeel per student dat door de docenten werd gegeven bedroeg 0,48 ERK-niveau. Aangezien studenten slechts 5-10 regels hadden geschreven per niveau-vraag, en er slechts van drie niveaus één vraag was om te beantwoorden, valt deze spreiding in docentoordelen niet groot te noemen. In de vergelijkingen met de Oxford OPT testscores is het gemiddelde van de drie docentscores gehanteerd. Het gemiddelde niveau op Speaking en Writing ligt volgens de docenten onder B1. De studenten die aan beide metingen hebben deelgenomen scoren bij de nameting qua Writing iets hoger dan bij de voormeting. Bovendien scoren ze bij de nameting lager qua Writing dan qua Speaking. Deze verschillen zijn echter minimaal. Evenals bij de Oxford OPT is ook bij de docentenoordelen qua Writing nagegaan of er een relatie is tussen de leerwinst en enkele achtergrondkenmerken. Hierbij past echter een voorbehoud: de aantallen studenten in deze analyses zijn soms zeer klein. Ten aanzien van de opleiding blijkt dat TBK het meest vooruit is gegaan; WTB is erop achteruit gegaan. Wat betreft de vooropleiding zijn de studenten met vwo er het meeste op vooruit gegaan. Als het gaat om het profiel op de middelbare school blijkt dat EM er het meest op vooruit is gegaan; NG is erop achteruit gegaan. 9.7 De ITAV Placement Test De ITAV Placement Test is een cloze-test die alleen bij de nameting is afgenomen. Van 292 studenten zijn de scores beschikbaar en van 215 ook het niveau. Dit verschil komt doordat de ITAV Placement Test bij scores lager dan 40 niet differentieert en de niveau-indeling pas start bij scores van 40 ofwel niveau B1. Dit betekent dus dat de gerapporteerde niveaus een overschatting vormen van het niveau van de hele groep. De studenten halen gemiddeld 50% van de te behalen punten; het gemiddelde niveau ligt op deze test tussen B1 en B2 in. Wanneer de scores gerelateerd worden aan de achtergrondkenmerken van de studenten, dan blijkt dat er grote verschillen zijn naar opleiding: P&A scoort het laagst, IV het hoogst. Ook qua vooropleiding zijn er grote verschillen: mbo scoort het laagst, vwo het hoogst (een verschil van een half niveau). Opmerkelijk is ook dat jongens een half niveau hoger scoren dan meisjes. De correla-ties tussen de eindcijfers voor het examen middelbare school en de ITAV Placement Test scores zijn matig sterk, namelijk 0,41. (Ter vergelijking: de correlaties met de Oxford OPT zijn 0,34.) De correlaties met de docentbeoordelingen zijn het hoogst van alle bestudeerde testen: 0,61 voor Writing en 0,65 voor Speaking.

68

De samenhangen tussen de ITAV Placement Test en Oxford OPT scores zijn met een correlatie van rond de 0,45 minder sterk dan wellicht verwacht zou worden. Kennelijk meten beide tests voor een belangrijk deel verschillende vaardigheden. De samenhang met de Oxford OPT Usage scores is het sterkst. 9.8 Effecten van taaltrainingsprogramma’s De bij de voormeting laagstscorende studenten is gevraagd gedurende het studiejaar een van twee online zelfstudieprogramma’s te volgen, namelijk Campus Language Training (CLT) of LinguaTV (LTV). CLT hield de inlogtijd bij; voor LTV hebben de studenten zelf – omdat het programma geen betrouwbare gegevens opleverde – een inschatting moeten maken van de aan het programma bestede tijd, al dan niet op basis van een logboek dat zij gedurende het jaar hadden bijgehouden. Voor CLT waren er van 76 studenten inlogscores beschikbaar. Echter, 58% van deze studenten is minder dan 2 uur ingelogd geweest. Omdat een deel van deze tijd aan instructie is besteed, wordt er voor deze groep vanuit gegaan dat de betreffende studenten niet serieus met het programma aan de slag zijn geweest. Van de resterende 32 studenten bedraagt de gemiddelde inlogtijd 18 uur, met een maximum van 86 uur. Wat betreft LTV waren er van 58 studenten scores beschikbaar. Bijna 21% van hen had echter minder dan 2 uur met het programma gewerkt. De resterende 46 studenten hadden er gemiddeld 27 uur aan besteed, met een maximum van 100 uur. Gemiddeld is er dus veel meer tijd met LTV gewerkt dan met CLT, en ook het maximum aantal uren ligt bij LTV veel hoger. In verband met de geringe aantallen zijn voor zowel CLT als LTV twee cate-gorieën gevormd: 2–12 uur, en 12 uur of meer Nagegaan is wat de samenhang is tussen het aantal uren dat de studenten hebben geoefend en enkele achtergrondkenmerken. Voor sommige kenmerken zijn er geen verschillen tussen CLT en LTV, voor andere wel. Zo hebben qua opleiding IV en P&A het meeste aantal uren geoefend (terwijl deze beide opleidingen qua instapni-veau niet ongunstiger scoren dan de andere opleidingen), zowel bij CLT als LTV. Anderzijds scoren bij CLT de studenten met instapniveau B2 (volgens de Oxford OPT) het hoogst, terwijl dat bij LTV B1 is. De centrale vraag van deze pilot luidt met welk programma de studenten het beste kunnen oefenen om hun te lage instapniveau op peil te brengen. In Tabel 9.2 staat het antwoord. In deze tabel staan voor de Oxford OPT de verschilscores (dus de leer-winst) van de scores en niveaus. Deze scores zijn uitgesplitst naar deelname aan een programma. Er is daarbij een vijfdeling aangehouden, met als referentiecategorie de studenten die niet of minder dan 2 uur hebben geoefend.

69

Tabel 9.2 – Verschilscores Oxford scores en niveaus naar deelname programma

deelname programma

Oxford scores

Oxford niveaus

niet of <2u -2,65 -0,08 CLT 2-12u -1,75 0,00 CLT ≥12u -0,27 0,09 LTV 2-12u 1,13 0,06 LTV ≥12u 0,36 0,07 totaal -1,99 -0,04

De hele steekproef is er gedurende het eerste studiejaar wat betreft de scores op de Oxford OPT 1,99 punten op achteruit is gegaan; dat is minder dan een tiende niveau. Niettemin, het is een terugval. De groep studenten die niet is uitgenodigd voor deel-name aan een programma of minder dan 2 uur ingelogd is geweest kent de grootste terugval (-2,65). Binnen de groep die heeft deelgenomen aan de CLT zien we dat de studenten met minder dan 12 uur inlogtijd minder terugval kent, en de studenten met 12 uur of meer inlogtijd nog weer minder terugval (-1,75, resp. -0,27). Met andere woorden: deelname aan CLT heeft de terugval iets weten te beperken, waarbij een grotere tijdsinvestering gepaard gaat met minder terugval. De studenten die met LTV hebben gewerkt kennen geen terugval, maar een geringe leerwinst. Voor de studenten met 2 tot 12 uur oefentijd bedraagt die ruim 1 punt, en voor studenten met 12 uur of meer eenderde punt. De gegevens die betrekking hebben op de Oxford OPT niveaus vertonen een vergelijkbaar patroon, alhoewel de onderliggende cijfers veel grover zijn. Ook is nog nagegaan hoe de studenten die relatief veel uren in een programma heb-ben gestoken hebben gescoord. Dat is gebeurd voor de studenten die meer dan 40 uur hebben geoefend. Het betreft een gering aantal studenten en daarom zijn beide pro-gramma’s hier samengevoegd. Het bleek dat de gemiddelde leerwinst van de betref-fende 11 studenten 3,18 was, dus meer dan die van de andere categorieën. Met enige terughoudend kan dus worden geconcludeerd dat de grootste tijdsinvestering tot de meeste leerwinst heeft geleid. Als we alleen geïnteresseerd zijn in de mogelijke leerwinst van de studenten op de Oxford OPT, dan luidt de conclusie dat LTV het beste uit de bus komt en ook met een ‘positieve’ leerwinst eindigt. Vergeleken met de studenten die helemaal niets hebben gedaan bedraagt het verschil met de studenten die tussen de 2 en 12 hebben geoefend een kleine 4 punten (1,13 - (-) 2,65), dus ongeveer een kwart niveau. Voor de onder-linge vergelijking van het effect van CLT- en LTV-deelname luidt hiermee de con-

70

clusie dat het effect vrij klein is, maar dat als Avans Hogeschool wil voorkomen dat studenten qua Engelse taalvaardigheid terugvallen of wil bewerkstelligen dat de stu-denten erop vooruitgaan men het beste LTV kan inzetten. 9.9 Het oordeel van de studenten over de tests en programma’s Om een indruk te verkrijgen van hoe de studenten het maken van de tests en het wer-ken met de beide programma’s hebben ervaren, is hen gevraagd een online vragenlijst in te vullen. Met betrekking tot de tests is gevraagd wat ze vonden van de instructie, of ze het invullen prettig vonden, wat ze vonden van de duur, de lengte, de moeilijk-heid, of ze vonden dat de test ook echt hun niveau Engels goed weergaf, en hun ge-bruikerservaring in het algemeen. De studenten konden kiezen uit antwoorden die varieerden van 1 tot 5, met (doorgaans) als betekenis ‘zeer negatief’ tot ‘zeer posi-tief’. Opvallend was dat men gemiddeld met een score rond de 3 ‘neutraal’ antwoord-de. De Oxford OPT wordt overduidelijk als beste beoordeeld, op afstand ex aequo gevolgd door de LinguaTV Placement Test en de Garnet I-Test. De ITAV Placement Test wordt duidelijk het minst positief beoordeeld. De studenten hebben ook enkele vragen beantwoord over hun ervaringen met het door hen gebruikte programma. Een eerste vraag luidde: Hoe prettig vond je de leer-methode om mee te werken? Ze konden kiezen uit (1) zeer onprettig, (2) onprettig, (3) neutraal, (4) prettig, en (5) zeer prettig. Opvallend is dat de studenten niet echt positief over de leermethode oordelen. Niemand vond de methode zeer prettig om mee te werken, en slechts enkelen vonden het prettig. En dat geldt voor beide metho-des. De gemiddelde scores liggen iets boven de 2, wat staat voor ‘onprettig’. Een tweede vraag luidde: Hoeveel Engels heb je ervan geleerd? De antwoordcategorieën waren: (1) niks, (2) weinig, (3) gaat wel, (4) best veel, en (5) super veel. Ook hier waren de studenten niet echt positief. Gemiddeld genomen ‘weinig’; men is iets posi-tiever over LTV dan CLT. De laatste vraag luidde: Zou je deze leermethode aanraden aan andere eerstejaars studenten die hun Engels graag op een of andere manier willen bijspijkeren? De antwoordmogelijkheden waren: (1) absoluut niet, (2) mwah, (3) neutraal, (4) och ja, best wel, en (5) zeker wel. Geen van beide programma’s is vol-gens de studenten een aanrader; hun gemiddelde oordeel zit dichter tegen ‘mwah’ aan dan tegen ‘neutraal’. Het oordeel over CLT wat betreft het aanraden aan een mede-student is wat positiever dan over LTV. Met betrekking tot de eigen beleving is het studentoordeel echter positiever over LTV dan over CLT.

Bijlage

1

De taalvaardigheid Engels van Avans Hogeschool-studenten bij de intake Dr. Geert Driessen ITS, Radboud Universiteit Nijmegen Januari 2012 1. Inleiding Avans Hogeschool te Den Bosch wil studenten via het curriculum Engels opleiden vanaf ERK-niveau B1 naar niveau B2 (ERK: Europees Referentie Kader). De begin-niveaus van de studenten verschillen echter aanzienlijk en zijn niet altijd adequaat: de eindterm havo voor het vak Engels is B1, die voor mbo A2. De vakgroep docenten Engels van Avans Hogeschool schat dat ongeveer de helft van de instromende eerste-jaarsstudenten niet het gewenste instapniveau B1 (op alle vier de taalmodaliteiten) heeft. Een grote groep studenten dient daarom gedurende het eerste jaar, buiten het normale curriculum Engels, te werken aan het verkrijgen van het benodigde instapni-veau Engels (‘pre-sessional learning’), zonder dat daar verder een docent bij betrok-ken is. In september 2011 heeft Avans Hogeschool het ITS benaderd in verband met de uitvoering van een onderzoekspilot. De onderzoeksvraag die daar aan ten grondslag ligt luidt: Hoe kan het best het instapniveau Engels van studenten worden vastgesteld en wat is de meest effectieve manier waarop Avans Hogeschool-studenten kan facili-teren om zo nodig alsnog een kansrijk instapniveau voor het vak Engels te bereiken? De onderzoekspilot dient Avans Hogeschool te ondersteunen bij de zo goed mogelij-ke opzet van een extra curriculum Engels voor studenten tijdens het eerste jaar, zodat ze allen met een min of meer gelijk beginniveau B1 kunnen beginnen aan het tweede jaar. Een tweede doel van de pilot is zo adequaat mogelijk te onderzoeken welke didactische programma’s en werkwijzen bij deze extra curriculuminzet het meest efficiënt en effectief zijn (Mooij, Fettelaar & Driessen, 2011). De pilot heeft (zoveel mogelijk) de opzet van een experimenteel design en ziet er als volgt uit: ca. 400 studenten maken aan het begin van het studiejaar ieder drie online niveau-

bepalingstests; ca. 200 van de studenten die lager dan B1 scoren volgen ieder, volgens random

toewijzing op studentniveau, één van de twee docentloze leermethodes;

2

ca. 400 studenten (minus de afvallers gedurende het propedeusejaar) maken aan het eind van het studiejaar nogmaals de niveaubepalingstests. Zowel niveauwinst als niveauverval worden in kaart gebracht, gerelateerd aan het al dan niet, en in welke mate en op welke wijze, gewerkt hebben aan Engels gedurende het jaar;

ca. 40 studenten (random selectie) nemen deel aan een taalniveau assessment door Avans Hogeschool-docenten, ter validatie van de online testresultaten. Deze asses-sment vindt plaats aan het begin en eind van het studiejaar bij dezelfde studenten, dit ter vergroting van het inzicht in de validiteit van enerzijds de beginniveaubepa-ling en anderzijds de effectiviteit van de docentloze instructie.

In dit tussentijds verslag staan de resultaten van de beginmeting centraal. We geven een beschrijving van de prestaties van de in totaal 427 Avans Hogeschool-studenten op de drie taaltests Engels in relatie tot enkele achtergrondkenmerken. De drie tests zijn de LinguaTV, de Garnet en de Oxford, die zijn gemaakt door respectievelijk 409, 415 en 405 studenten. Van deze tests presenteren we steeds, voor zover beschikbaar, de scores op de test als geheel en de subtests en de bijbehorende ERK niveau-indeling. Omdat er bij sommige (sub)tests naast de officiële niveaus A1 – C2 ook nog de niveaus A0, A1,5 en C2+ zijn onderscheiden, hebben we de range navenant uitge-breid. Daarbij is aan elke van deze niveaus een rangordescore toegekend: A0 → 0,5; A1 → 1, A1,5 → 1,5; A2 → 2; B1 → 3; B2 → 4; C1 → 5; C2 → 6; C2+ → 6,5. Strikt genomen kunnen op dergelijke scores geen gewone gemiddelden worden bere-kend. Gelet op de vorm van de verdelingen van deze niveaus en hun relatie met de onderliggende itemscores zijn wij van mening dat dit met enige terughoudendheid toch geoorloofd is. Wat betreft de achtergrondkenmerken spreken de meeste voor zich: opleiding, sekse en dyslexie. Enkele kenmerken vragen een nadere toelichting. Op basis van de vraag ‘Welke talen beheers je ten minste redelijk’ hebben we twee nieuwe variabelen ge-construeerd. Allereerst op basis van de meest voorkomende keuzes Welke talen, met vier opties: (1) Nederlands, (2) Nederlands en Engels, (3) Nederlands, Engels en Duits, (4) anders. Daarnaast Hoeveel talen, met eveneens vier opties: (1) 1, (2) 2, (3) 3, (4) 4 of meer. Met betrekking tot de gevolgde vooropleiding hebben we twee nieuwe kenmerken onderscheiden. Op de eerste plaats een driedeling: havo, mbo, en vwo. Op de tweede plaats een combinatie van profiel (in havo en vwo) en technische versus overige opleidingen (in mbo). De lijst met kenmerken bevatte ook informatie over het eindcijfer Engels in het voortgezet onderwijs, voor het havo en vwo tevens uitgesplitst naar beheersing van de deelvaardigheden. Deze worden eveneens in de analyses meegenomen. In de lijst met achtergrondkenmerken waren er ook nog enkele opgenomen die betrekking hadden

3

op het geboorteland, de moedertaal en de thuistaal. Op deze kenmerken scoorden echter slechts een handvol studenten anders dan Nederland(s). Om die reden hebben we ze verder niet meegenomen in de analyses. Een deel van de studenten heeft niet alleen de tests gemaakt, maar is ook door twee of drie docenten beoordeeld op hun schriftelijke taalvaardigheid (writing) in het Engels. Het betreft (uiteindelijk) 50 studenten die een score hebben gekregen volgens de ERK niveau-indeling. De docenten hebben daarbij een verfijnde indeling aangehouden, met de tussenniveaus – en +, die op vergelijkbare wijze als hierboven al is aangege-ven zijn omgezet in rangordescores: A1+ → 1.33; A2- → 1.67; A2 → 2; A2+ → 2.33; B1- → 2.67; B1 → 3; 'B1+ → 3.33; B2- → 3.67; B2 → 4; B2+ → 4.33. Hierna presenteren we in een reeks tabellen de testscores en levels uitgesplitst naar achtergrondkenmerken. Behalve de gemiddelden (‘gem.’) staat onder in de tabellen ook regelmatig de correlatiecoëfficiënt eta vermeld. Eta geeft een indruk van de sterkte van de samenhang tussen twee kenmerken. Die samenhang varieert van 0,00 (er is geen samenhang) tot 1,00 (er is een perfecte samenhang). Doorgaans wordt een eta van 0,30 als een zwakke samenhang geïnterpreteerd, een eta van 0,50 als een middelmatige samenhang, en een eta van 0,80 als een sterke samenhang. Eta geeft een indruk van de overall samenhang. Als die niet sterk is, kan het toch zijn dat er tussen bepaalde subgroepen grote verschillen bestaan. Zo zou bijvoorbeeld de overall samenhang tussen moedertaal en taalvaardigheid Engels zwak kunnen zijn, maar er toch een groot verschil kunnen zijn in het niveau Engels van studenten met als moe-dertaal Nederlands en studenten met als moedertaal een Berbervariëteit. De conse-quentie hiervan is dat niet alleen naar de overall samenhang gekeken moet worden, maar dat het ook zinvol kan zijn naar verschillen tussen subgroepen te kijken. Voordat we overstappen op de presentatie van de testresultaten uitgesplitst naar ach-tergrondkenmerken, gaan we eerst in op de samenhangen (c.q. correlaties) tussen de drie tests en subtests. Bij de in de tabellen gehanteerde labels wordt allereerst aange-duid om welke van de drie tests het gaat, vervolgens of het om de totale test of subtest gaat, en ten slotte of het om de score of het level gaat. Het stramien dat we steeds volgen is eerst de tabel en dan – als daartoe aanleiding bestaat – een korte toelichting.

4

2. De samenhangen (correlaties) tussen de totale test en subtests binnen elk van de drie tests LinguaTV ltv_

totscore ltv_

totlevel ltv_

listscore ltv_

gramscore ltv_

vocascore ltv_

readscore

ltv_totlevel 0,908 ltv_listscore 0,646 0,589 ltv_gramscore 0,690 0,632 0,343 ltv_vocascore 0,729 0,640 0,367 0,451 ltv_readscore 0,723 0,650 0,377 0,380 0,452 ltv_writescore 0,627 0,571 0,280 0,318 0,299 0,275

De subtests hangen elk in ongeveer dezelfde mate samen met de totale test; de sterk-ste samenhang is er met vocabulary, de zwakste met writing. De onderlinge samen-hangen van de subtests zijn niet bijzonder sterk, met name writing hangt laag samen met de rest. Garnet gar_

totscore gar_

totlevel gar_

readscore gar_

readlevel gar_

listscore gar_

listlevel gar_

usascore

gar_totlevel 0,838 gar_readscore 0,799 0,688 gar_readlevel 0,766 0,694 0,916 gar_listscore 0,737 0,564 0,296 0,315 gar_listlevel 0,648 0,514 0,261 0,282 0,873 gar_usascore 0,723 0,630 0,289 0,310 0,539 0,470 gar_usalevel 0,640 0,606 0,309 0,313 0,447 0,429 0,824

De relatief lage samenhang van reading met de andere twee subtests valt op. Oxford oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore

oxf_totlevel 0,941 oxf_usascore 0,891 0,850 oxf_usalevel 0,850 0,820 0,951 oxf_listscore 0,894 0,832 0,593 0,571 oxf_listlevel 0,846 0,790 0,554 0,535 0,953

Vergeleken met de andere tests is hier de samenhang van de beide subtests met de totaaltest en ook de samenhang tussen de beide subtests wat hoger.

5

3. De samenhangen (correlaties) tussen de totaalscores en -levels van de drie tests ltv_

totscore ltv_

totlevel gar_

totscore gar_

totlevel oxf_

totscore

ltv_totlevel 0,908 gar_totscore 0,556 0,502 gar_totlevel 0,480 0,463 0,838 oxf_totscore 0,619 0,573 0,595 0,522 oxf_totlevel 0,581 0,540 0,554 0,480 0,941

De samenhangen tussen de drie tests liggen steeds rond de 0,50, dus zijn middelma-tig. Ze meten daarmee elk voor een belangrijk deel andere vaardigheden. 4. De samenhangen(correlaties) tussen de subtestscores van de drie tests In de tabellen hebben we steeds de correlaties tussen vergelijkbare deelvaardigheden geel gearceerd. ltv_

listscore ltv_

gramscore ltv_

vocascoreltv_

readscoreltv_

writescoregar_

readscoregar_

listscore gar_

usascore oxf_

usascore

ltv_gramscore 0,343 ltv_vocascore 0,367 0,451 ltv_readscore 0,377 0,380 0,452 ltv_writescore 0,280 0,318 0,299 0,275 gar_readscore 0,260 0,288 0,304 0,333 0,173 gar_listscore 0,290 0,366 0,286 0,327 0,302 0,296 gar_usascore 0,244 0,361 0,357 0,335 0,345 0,289 0,539 oxf_usascore 0,445 0,461 0,523 0,537 0,340 0,446 0,481 0,463 oxf_listscore 0,368 0,308 0,358 0,438 0,163 0,350 0,362 0,351 0,593

De drie tests kennen enkele gemeenschappelijke subtests, namelijk reading, listening en usage. Opvallend is dat er niet echt veel overlap is tussen deze tests; de samenhan-gen (zie de gearceerde velden) liggen slechts tussen de 0,290 en 0,463. Hoewel deze subtests dus beogen dezelfde vaardigheid te meten, meten ze elk toch voor een groot deel andere dingen.

6

5. De samenhangen (correlaties) tussen de docentenbeoordelingen writing en de totaal- en subtestlevels ltv_ totlevel

gar_ totlevel

gar_ readlevel

gar_ listlevel

gar_ usalevel

oxf_ totlevel

oxf_ usalevel

oxf_ listlevel

0,304 0,440 0,414 0,333 0,389 0,390 0,474 0,304

De samenhangen tussen de docentenbeoordelingen over writing en de resultaten in op de tests en subtests in termen van niveaus liggen steeds rond de 0,40. De sterkste samenhang bestaat er met de Oxford usage, de zwakste met de Oxford listening. We moeten hierbij wel bedenken dat het slechts om 50 studenten gaat, die beoordeeld zijn aan de hand van tien niveaus en waarvan bijna de helft op B1 zit. Bij de Garnet en de Oxford worden behalve subtestscores ook subtestlevels onder-scheiden; bij de LinguaTV is dat niet geval. De LinguaTV onderscheid wél vijf sub-testscores, waaronder writing. Om die reden hebben we ook de samenhangen tussen de docentenbeoordelingen en deze subtestscores berekend. Deze staan in onderstaan-de tabel. ltv_ listscore

ltv_ gramscore

ltv_ vocascore

ltv_ readscore

ltv_ writescore

0,102 0,336 0,217 0,367 0,362

Opvallend is dat de sterkte van de samenhang tussen de docentenbeoordelingen voor writing met de subtest writing niet wezenlijk afwijkt van die met de subtests grammar en reading. Kennelijk bestaat er niet zoveel overlap tussen hetgeen de subtest meet en hetgeen met de docentenbeoordelingen wordt gemeten.

7

6. De samenhangen (correlaties) tussen het eindcijfer Engels en de testen sub-testscores en docentenbeoordelingen Van een deel van de studenten zijn ook de eindcijfers Engels die ze in de vooroplei-ding hebben gehaald bekend. Voor het eindcijfer zelf gaat het om 352 van de 427 studenten; voor de vier deelvaardigheden variëren de aantallen tussen 204 en 222. De aantallen met een eindcijfer per opleiding zijn: IV 123, PA 112, TBK 48 en WTB 69. De aantallen per vooropleiding: havo 253, mbo 73 en vwo 26. LinguaTV

ltv_ totscore

ltv_ listscore

ltv_ gramscore

ltv_ vocascore

ltv_ readscore

ltv_ writescore

eindcijfer 0,394 0,234 0,228 0,326 0,382 0,178 eindluisterv 0,455 0,299 0,220 0,302 0,404 0,241 eindspreekv 0,327 0,097 0,191 0,278 0,259 0,202 eindleesv 0,445 0,252 0,266 0,351 0,398 0,172 eindschrijfv 0,404 0,187 0,217 0,270 0,288 0,331

Garnet

gar_ totscore

gar_ readscore

gar_ listscore

gar_ usascore

eindcijfer 0,395 0,287 0,323 0,320 eindluisterv 0,335 0,263 0,321 0,184 eindspreekv 0,243 0,165 0,203 0,215 eindleesv 0,391 0,295 0,297 0,303 eindschrijfv 0,329 0,202 0,297 0,294

Oxford

oxf_ totscore

oxf_ usascore

oxf_ listscore

eindcijfer 0,527 0,512 0,430 eindluisterv 0,470 0,466 0,369 eindspreekv 0,433 0,386 0,378 eindleesv 0,544 0,531 0,431 eindschrijfv 0,504 0,464 0,425

In het algemeen zijn de samenhangen tussen de cijfers voor de deelvaardigheden die de studenten in de vooropleiding hebben gekregen en de scores op de overeenkomsti-ge subtests bij de intake niet erg sterk; ze liggen tussen de 0,295 en 0,398. Het cijfer dat de studenten in de vooropleiding hebben gehaald zegt dus niet zoveel over de testscore bij de intake. Ook de samenhang tussen het eindcijfer (totaal) en de totaal-score op de drie tests is hooguit middelmatig; de Oxford scoort daarbij met 0,527 het hoogst.

8

docentenbeoordelingen

eindcijfer 0,25 eindluisterv 0,12 eindspreekv 0,55 eindleesv 0,37 eindschrijfv 0,64

De samenhangen tussen de eindcijfers en de docentenbeoordelingen writing variëren nogal. Die met luistervaardigheid is laag, terwijl die met spreekvaardigheid en zeker met schrijfvaardigheid veel sterker is – alhoewel dat laatste uiteraard wel verwacht kon worden. 7. Testprestaties en achtergrondkenmerken In deze paragraaf presenteren we de verdelingen (i.c. gemiddelden) van de testpresta-ties over de achtergrondkenmerken. Voordat we daartoe over gaan geven we eerst een beknopt overzicht van de kenmerken zelf met per categorie de aantallen (‘N’) stu-denten.. 7.1 De aantallen studenten per achtergrondkenmerk opleiding N sekse N dyslexie N

1 IV 151 1 man 311 1 ja 54 2 P&A 133 2 vrouw 116 2 nee 343 3 TBK 55 4 WTB 88 Totaal 427 Totaal 427 Totaal 397 welke talen beheersing N hoeveel talen beheersing N

1 ned 46 1 1 49 2 ned eng 168 2 2 180 3 ned eng dui 113 3 3 140 4 anders 70 4 4 of meer 28 Totaal 397 Totaal 397

profiel N vooropleiding N

1 CM 48 1 havo 276 2 EM 128 2 mbo 93 3 NG 35 3 vwo 28 4 NT 93 5 mbo BT 36 6 mbo niet-BT 57 Totaal 397 Totaal 397

9

7.2 De gemiddelden voor de LinguaTV opleiding ltv_

totscore ltv_

totlevel ltv_

listscore ltv_

gramscore ltv_

vocascore ltv_

readscore ltv_

writescore

1 IV 17,03 2,87 3,45 3,75 4,34 3,08 2,36 2 P&A 15,22 2,60 3,06 3,43 3,81 2,71 2,17 3 TBK 17,76 2,96 3,70 3,92 4,48 3,18 2,48 4 WTB 16,48 2,76 3,44 3,48 4,13 3,23 2,20 Totaal 16,43 2,77 3,36 3,61 4,14 3,01 2,28 eta 0,22 0,17 0,21 0,16 0,21 0,16 0,09

TBK scoort het beste en P&A het zwakst. Qua level zitten de studenten dicht tegen B1 aan. De verschillen tussen de opleidingen zijn overall niet erg groot. Het grootst zijn ze wat betreft listening en vocabulary; het kleinst wat betreft writing. sekse ltv_

totscore ltv_

totlevel ltv_

listscore ltv_

gramscore ltv_

vocascore ltv_

readscore ltv_

writescore

1 man 17,10 2,88 3,48 3,71 4,37 3,16 2,37 2 vrouw 14,69 2,49 3,03 3,35 3,55 2,61 2,06 Totaal 16,43 2,77 3,36 3,61 4,14 3,01 2,28 eta 0,26 0,23 0,20 0,14 0,32 0,19 0,11

Mannelijke studenten doen het steeds beter dan vrouwelijke studenten. De verschillen zijn het grootst voor vocabulary en het kleinst voor writing. dyslexie ltv_

totscore ltv_

totlevel ltv_

listscore ltv_

gramscore ltv_

vocascore ltv_

readscore ltv_

writescore

1 ja 15,64 2,58 3,43 3,40 3,98 2,72 2,06 2 nee 16,56 2,80 3,35 3,64 4,17 3,05 2,32 Totaal 16,44 2,77 3,36 3,60 4,14 3,00 2,28 eta 0,08 0,10 0,03 0,07 0,06 0,09 0,08

10

Studenten met dyslexie scoren iets beter dan studenten zonder dyslexie, maar de verschillen zijn zeer gering. welke talen beheersing

ltv_ totscore

ltv_ totlevel

ltv_ listscore

ltv_ gramscore

ltv_ vocascore

ltv_ readscore

ltv_ writescore

1 ned 14,98 2,51 3,31 3,27 3,64 2,38 2,27 2 ned eng 17,16 2,85 3,57 3,77 4,32 3,14 2,37 3 ned eng dui 16,20 2,76 3,25 3,52 4,12 3,14 2,16 4 anders 16,10 2,75 3,09 3,57 4,10 2,87 2,28 Totaal 16,44 2,77 3,36 3,60 4,14 3,00 2,28 eta 0,17 0,14 0,18 0,14 0,18 0,19 0,07

Studenten die zeggen alleen het Nederlands redelijk te beheersen scoren het laagst; studenten die aangeven het Nederlands en Engels redelijk te beheersen het hoogst. De verschillen zijn het kleinst op het gebied van writing. hoeveel talen beheersing

ltv_ totscore

ltv_ totlevel

ltv_ listscore

ltv_ gramscore

ltv_ vocascore

ltv_ readscore

ltv_ writescore

1 1 15,23 2,56 3,29 3,25 3,69 2,44 2,23 2 2 16,89 2,82 3,50 3,74 4,26 3,08 2,32 3 3 16,12 2,74 3,23 3,50 4,07 3,09 2,19 4 4 of meer 17,38 2,92 3,23 3,92 4,58 3,04 2,62 Totaal 16,44 2,77 3,36 3,60 4,14 3,00 2,28 eta 0,15 0,12 0,12 0,16 0,18 0,16 0,09

Studenten die zeggen 4 of meer talen redelijk te beheersen scoren het hoogst, terwijl degenen die zeggen slechts 1 taal redelijk te beheersen het laagst scoren. Ook hier zijn de verschillen het kleinst voor writing. vooropleiding ltv_

totscore ltv_

totlevel ltv_

listscore ltv_

gramscore ltv_

vocascore ltv_

readscore ltv_

writescore

1 havo 16,77 2,80 3,40 3,75 4,21 3,08 2,34 2 mbo 14,44 2,43 3,06 3,02 3,76 2,48 1,86 3 vwo 19,54 3,54 3,93 4,07 4,71 3,86 3,04 Totaal 16,44 2,77 3,36 3,60 4,14 3,00 2,28 eta 0,32 0,35 0,21 0,28 0,21 0,26 0,24

Studenten uit het vwo scoren het hoogst, die uit het mbo het laagst. Het verschil tus-sen beide groepen bedraagt ruim 1 level. Het verschil tussen mbo en havo bedraagt ruim eenderde level. Daarmee is het verschil tussen havo en vwo groter dan dat tus-sen mbo en havo.

11

profiel ltv_ totscore

ltv_ totlevel

ltv_ listscore

ltv_ gramscore

ltv_ vocascore

ltv_ readscore

ltv_ writescore

1 CM 16,72 2,91 3,17 3,89 4,28 2,93 2,50 2 EM 16,97 2,85 3,46 3,80 4,19 3,20 2,34 3 NG 16,41 2,79 3,50 3,44 4,09 3,03 2,35 4 NT 17,52 2,90 3,56 3,82 4,40 3,26 2,48 5 mbo BT 14,54 2,37 3,31 2,97 3,89 2,80 1,57 6 mbo niet-BT 14,38 2,47 2,89 3,06 3,68 2,26 2,06 Totaal 16,44 2,77 3,36 3,60 4,14 3,00 2,28 eta 0,28 0,25 0,21 0,29 0,20 0,25 0,22

In zijn algemeenheid zijn de verschillen tussen de vier havo/vwo-profielen niet erg groot. NT scoort in de meeste gevallen het hoogst, NG het laagst. Ook de verschillen tussen de mbo technische en overige opleidingen zijn beperkt en niet consistent over de onderscheiden deelvaardigheden. 7.3 De gemiddelden voor de Garnet opleiding gar_

totscore gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 IV 77,01 3,35 80,27 3,82 86,54 4,13 61,59 2,58 2 P&A 74,31 3,16 74,35 3,37 86,22 4,11 58,77 2,43 3 TBK 75,59 3,35 77,00 3,53 86,52 4,04 60,07 2,53 4 WTB 75,73 3,32 77,45 3,59 86,42 4,21 60,35 2,50 Totaal 75,72 3,28 77,43 3,60 86,41 4,13 60,26 2,51 eta 0,13 0,14 0,14 0,18 0,02 0,07 0,12 0,12

IV scoort het hoogst, P&A het laagst. Op listening zijn er nauwelijks verschillen. sekse gar_

totscore gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 man 76,35 3,32 78,86 3,69 86,48 4,14 60,86 2,54 2 vrouw 74,10 3,18 73,69 3,36 86,23 4,10 58,70 2,44 Totaal 75,72 3,28 77,43 3,60 86,41 4,13 60,26 2,51 eta 0,12 0,10 0,13 0,14 0,01 0,02 0,10 0,08

Mannelijke studenten scoren iets beter dan vrouwelijke. Op listening is er praktisch geen verschil.

12

dyslexie gar_ totscore

gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 ja 74,42 3,24 78,08 3,60 85,94 4,12 55,84 2,31 2 nee 76,31 3,31 78,05 3,63 86,72 4,15 61,18 2,55 Totaal 76,06 3,30 78,05 3,63 86,62 4,15 60,49 2,51 eta 0,08 0,04 0,00 0,01 0,04 0,01 0,20 0,15

Qua dyslexie zijn er nagenoeg geen verschillen, eigenlijk alleen qua usage. welke talen beheersing

gar_ totscore

gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 ned 73,67 3,07 70,67 3,20 86,00 4,09 60,22 2,47 2 ned eng 77,45 3,37 80,87 3,79 87,74 4,25 60,85 2,50 3 ned eng dui 75,32 3,32 77,15 3,61 85,75 4,02 60,25 2,54 4 anders 75,54 3,28 77,67 3,54 85,77 4,15 60,23 2,54 Totaal 76,06 3,30 78,05 3,63 86,62 4,15 60,49 2,51 eta 0,15 0,15 0,18 0,18 0,13 0,14 0,03 0,04

Studenten die aangeven het Nederlands en het Engels redelijk te beheersen scoren het hoogst, studenten die alleen het Nederlands redelijk beheersen het laagst. hoeveel talen beheersing

gar_ totscore

gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 1 74,08 3,10 71,52 3,23 86,17 4,10 60,50 2,50 2 2 77,18 3,35 80,71 3,78 87,43 4,22 60,48 2,49 3 3 75,22 3,29 76,44 3,56 85,99 4,07 60,29 2,53 4 4 of meer 76,67 3,37 80,63 3,70 85,37 4,11 61,59 2,63 Totaal 76,06 3,30 78,05 3,63 86,62 4,15 60,49 2,51 eta 0,14 0,13 0,18 0,18 0,10 0,10 0,03 0,07

Studenten die zeggen 2 talen redelijk te beheersen scoren het hoogst, studenten die 1 taal beheersen het laagst. Qua usage zijn er nauwelijks verschillen. vooropleiding

gar_ totscore

gar_ totlevel

gar_ readscore

gar_ readlevel

gar_ listscore

gar_ listlevel

gar_ usascore

gar_ usalevel

1 havo 77,06 3,35 79,53 3,71 87,27 4,18 61,46 2,55 2 mbo 71,33 3,02 71,38 3,23 83,12 3,87 56,16 2,32 3 vwo 82,48 3,85 86,44 4,20 92,26 4,74 65,89 2,85 Totaal 76,06 3,30 78,05 3,63 86,62 4,15 60,49 2,51 eta 0,35 0,34 0,24 0,25 0,31 0,29 0,29 0,25

13

Studenten met vwo scoren het hoogst, die met mbo het laagst. Tussen mbo en vwo zit een verschil van ruim driekwart level, tussen mbo en havo en verschil van eenderde level, en tussen havo en vwo een half level. profiel gar_

totscore gar_

totlevel gar_

readscore gar_

readlevel gar_

listscore gar_

listlevel gar_

usascore gar_

usalevel

1 CM 76,71 3,42 79,10 3,68 87,19 4,15 60,81 2,59 2 EM 77,43 3,34 80,49 3,74 87,26 4,19 61,70 2,57 3 NG 79,06 3,44 82,75 3,94 89,84 4,44 61,47 2,53 4 NT 77,67 3,43 79,34 3,74 87,92 4,26 62,82 2,59 5 mbo BT 72,31 3,14 73,39 3,39 84,19 3,92 56,17 2,32 6 mbo niet-BT 70,72 2,95 70,11 3,13 82,44 3,84 56,16 2,32 Totaal 76,06 3,30 78,05 3,63 86,62 4,15 60,49 2,51 eta 0,32 0,28 0,23 0,24 0,28 0,24 0,27 0,21

De verschillen tussen de vier profielen zijn niet erg groot, maar wijzen wel allemaal in dezelfde richting: NG scoort het hoogst. Ook bij de twee binnen het mbo onder-scheiden opleidingen zijn de verschillen beperkt, maar wel consistent in het voordeel van BT. 7.4 De gemiddelden voor de Oxford opleiding oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore oxf_

listlevel

1 IV 71,48 4,12 68,99 3,94 73,96 4,15 2 P&A 66,02 3,78 63,93 3,70 68,10 3,88 3 TBK 67,60 3,85 66,60 3,85 68,58 3,90 4 WTB 69,66 3,99 66,63 3,86 72,75 4,13 Totaal 68,90 3,95 66,61 3,84 71,20 4,03 eta 0,14 0,17 0,12 0,11 0,15 0,13

IV scoort het hoogst, P&A het laagst. sekse oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore oxf_

listlevel

1 man 70,20 4,02 68,21 3,93 72,22 4,09 2 vrouw 65,42 3,76 62,34 3,60 68,45 3,89 Totaal 68,90 3,95 66,61 3,84 71,20 4,03 eta 0,13 0,14 0,15 0,16 0,09 0,09

14

Mannelijke studenten scoren steeds hoger dan vrouwelijke. Op listening is het ver-schil het kleinst. dyslexie oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore oxf_

listlevel

1 ja 68,27 3,94 63,85 3,67 72,60 4,09 2 nee 68,75 3,93 66,66 3,85 70,84 4,02 Totaal 68,68 3,93 66,28 3,82 71,08 4,03 eta 0,01 0,01 0,05 0,06 0,03 0,02

Tussen studenten met en zonder dyslexie zijn er nagenoeg geen verschillen. welke talen beheersing

oxf_ totscore

oxf_ totlevel

oxf_ usascore

oxf_ usalevel

oxf_ listscore

oxf_ listlevel

1 ned 60,28 3,57 58,61 3,41 62,00 3,57 2 ned eng 72,78 4,14 71,20 4,09 74,38 4,18 3 ned eng dui 67,82 3,86 63,67 3,68 71,94 4,11 4 anders 66,01 3,81 63,97 3,70 67,97 3,87 Totaal 68,68 3,93 66,28 3,82 71,08 4,03 eta 0,26 0,23 0,25 0,26 0,23 0,21

Studenten die zeggen het Nederlands en het Engels redelijk te beheersen scoren het hoogst, degenen die alleen het Nederlands redelijk beheersen het laagst. hoeveel talen beheersing

oxf_ totscore

oxf_ totlevel

oxf_ usascore

oxf_ usalevel

oxf_ listscore

oxf_ listlevel

1 1 61,12 3,59 59,51 3,45 62,78 3,59 2 2 71,43 4,07 69,77 4,01 73,09 4,12 3 3 67,89 3,87 64,01 3,70 71,73 4,10 4 4 of meer 68,81 4,00 67,62 3,96 69,96 3,92 Totaal 68,68 3,93 66,28 3,82 71,08 4,03 eta 0,21 0,19 0,21 0,21 0,19 0,18

15

Studenten die zeggen 2 talen redelijk te beheersen scoren het hoogst, studenten die aangeven slechts 1 taal redelijk te beheersen het laagst. vooropleiding oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore oxf_

listlevel

1 havo 70,23 4,01 68,40 3,93 72,07 4,06 2 mbo 61,73 3,56 57,20 3,34 66,18 3,83 3 vwo 76,33 4,41 75,26 4,33 77,37 4,44 Totaal 68,68 3,93 66,28 3,82 71,08 4,03 eta 0,26 0,27 0,30 0,30 0,17 0,15

Studenten met vwo scoren het hoogst, die met mbo het laagst. Qua totaal level is het verschil tussen mbo en havo ongeveer even groot als dat tussen havo en vwo. De verschillen zijn het grootst qua usage en het laagst qua listening. profiel oxf_

totscore oxf_

totlevel oxf_

usascore oxf_

usalevel oxf_

listscore oxf_

listlevel

1 CM 70,40 4,02 69,18 4,00 71,80 4,02 2 EM 71,10 4,05 69,33 3,98 72,83 4,09 3 NG 70,12 3,97 66,30 3,79 73,79 4,23 4 NT 70,80 4,08 69,52 4,01 72,13 4,08 5 mbo BT 63,75 3,64 58,86 3,44 68,58 3,94 6 mbo niet-BT 60,36 3,51 56,08 3,26 64,55 3,76 Totaal 68,68 3,93 66,28 3,82 71,08 4,03 eta 0,25 0,25 0,29 0,29 0,16 0,13

De verschillen tussen de profielen zijn niet groot; het beste scoort meestal NT. Binnen het mbo scoort BT het beste. De verschillen zijn het geringst wat betreft listening. 7.5 Samenvatting Als we de bevindingen met betrekking tot de drie tests samenvatten, dan blijkt aller-eerst dat er qua vaardigheid Engels verschillen zijn tussen de opleidingen. Voor elk van de drie tests scoort P&A het laagst. Op de Garnet en Oxford scoort IV het hoogst, op de LinguaTV is dat TBK. Mannen scoren wat hoger dan vrouwen; de verschillen zijn bij de LinguaTV het grootst en bij de Garnet het kleinst. Studenten met dyslexie presteren op alle drie de tests iets slechter dan studenten zonder dyslexie, maar de verschillen zijn minimaal. Voor alle drie de tests geldt dat studenten die aangeven dat ze (alleen) het Nederlands ten minste redelijk beheersen het laagst, terwijl studenten die zeggen dat ze het Nederlands en het Engels redelijk beheersen het hoogst. Als het

16

gaat om het aantal talen dat de studenten zeggen redelijk te beheersen, zijn er enige verschillen tussen de drie tests. Op de LinguaTV en Oxford scoren de studenten die 4 of meer talen zeggen te beheersen het hoogst. Voor alle drie de tests geldt dat de studenten die aangeven slechts 1 taal redelijk te beheersen het laagst. Studenten met mbo als vooropleiding scoren steeds het laagst, die met vwo het hoogst. Het grootst zijn daarbij de verschillen voor de LinguaTV. De verschillen tussen de vier ha-vo/vwo-profielen zijn in het algemeen gering; het beste scoort meestal NT. Ook bin-nen het mbo zijn de verschillen tussen aan de ene kant BT en een de andere kant de overige opleidingen niet erg groot; BT scoort meestal het beste. In onderstaande serie tabellen vatten we de resultaten uit de vorige drie subparagrafen nog eens samen, waarbij we ons concentreren op de relaties tussen de achtergrond-kenmerken met het totale level van elk van de drie tests (d.w.z. steeds de gemiddel-den uit de tweede kolom van de voorgaande tabellen). opleiding ltv_

totlevel gar_

totlevel oxf_

totlevel

1 IV 2,87 3,35 4,12 2 P&A 2,60 3,16 3,78 3 TBK 2,96 3,35 3,85 4 WTB 2,76 3,32 3,99 Totaal 2,77 3,28 3,95 eta 0,17 0,14 0,17

sekse ltv_

totlevel gar_

totlevel oxf_

totlevel

1 man 2,88 3,32 4,02 2 vrouw 2,49 3,18 3,76 Totaal 2,77 3,28 3,95 eta 0,23 0,10 0,14

dyslexie ltv_

totlevel gar_

totlevel oxf_

totlevel

1 ja 2,58 3,24 3,94 2 nee 2,80 3,31 3,93 Totaal 2,77 3,30 3,93 eta 0,10 0,04 0,01

17

welke talen beheersing

ltv_ totlevel

gar_ totlevel

oxf_ totlevel

1 ned 2,51 3,07 3,57 2 ned eng 2,85 3,37 4,14 3 ned eng dui 2,76 3,32 3,86 4 anders 2,75 3,28 3,81 Totaal 2,77 3,30 3,93 eta 0,14 0,15 0,23

hoeveel talen beheersing

ltv_ totlevel

gar_ totlevel

oxf_ totlevel

1 1 2,56 3,10 3,59 2 2 2,82 3,35 4,07 3 3 2,74 3,29 3,87 4 4 of meer 2,92 3,37 4,00 Totaal 2,77 3,30 3,93 eta 0,12 0,13 0,19

vooropleiding ltv_

totlevel gar_ totlevel

oxf_ totlevel

1 havo 2,80 3,35 4,01 2 mbo 2,43 3,02 3,56 3 vwo 3,54 3,85 4,41 Totaal 2,77 3,30 3,93 eta 0,35 0,34 0,27

profiel ltv_

totlevel gar_ totlevel

oxf_ totlevel

1 CM 2,91 3,42 4,02 2 EM 2,85 3,34 4,05 3 NG 2,79 3,44 3,97 4 NT 2,90 3,43 4,08 5 mbo BT 2,37 3,14 3,64 6 mbo niet-BT 2,47 2,95 3,51 Totaal 2,77 3,30 3,93 eta 0,25 0,28 0,25

8. Docentenbeoordelingen en achtergrondkenmerken Er is niet alleen gekeken hoe de testresultaten over de achtergrondkenmerken zijn verdeeld, maar ook naar de verdelingen (gemiddelden) van de docentenbeoordelin-gen. Om niet al te veel tabellen te presenteren, hebben we meerdere kenmerken in één tabel geplaatst. Bij de interpretatie van de resultaten dient steeds beseft te worden dat het om relatief kleine aantallen studenten gaat; daarom hebben we ook de aantallen vermeld.

18

opleiding gem. N sekse gem. N dyslexie gem. N

1 IV 3,00 20 1 man 2,90 36 1 ja 2,22 6 2 P&A 3,18 19 2 vrouw 2,98 14 2 nee 3,04 32 3 TBK 2,11 3 4 WTB 2,42 8 Totaal 2,92 50 Totaal 2,92 50 Totaal 2,91 38 eta 0,54 eta 0,06 eta 0,54

De opleiding P&A scoort het hoogst, wat enigszins verrassend is omdat die opleiding bij de tests vaak het laagst scoort. Voor sekse is er geen verschil. Dyslecten scoren flink lager dan niet-dyslecten. welke talen beheersing gem. N hoeveel talen beheersing gem. N

1 ned 2,80 5 1 1 2,78 6 2 ned eng 2,97 13 2 2 2,97 13 3 ned eng dui 2,91 11 3 3 2,95 13 4 anders 2,89 9 4 4 of meer 2,84 6 Totaal 2,91 38 Totaal 2,91 38 eta 0,10 eta 0,13

Voor de beoordelingen maakt het nauwelijks uit welke of hoeveel talen studenten zeggen te beheersen.

profiel gem. n vooropleiding gem. n

1 CM 3,22 3 1 havo 2,85 25 2 EM 2,98 15 2 mbo 2,90 10 3 NG 3,17 4 3 vwo 3,44 3 4 NT 2,45 6 5 mbo BT 3,00 1 6 mbo niet-BT 2,89 9 Totaal 2,91 38 Totaal 2,91 38 eta 0,41 eta 0,28

De aantallen per profiel zijn erg klein. Qua vooropleiding zijn er nauwelijks verschil-len tussen havo en mbo.

19

9. Het gemiddelde niveau en achtergrondkenmerken In de voorgaande paragrafen hebben we ons gericht op de drie afzonderlijke tests. We hebben ook nog het gemiddelde niveau berekend door per student de levels op de drie tests te middelen. In de tabel hierna staan de samenhangen (correlaties) tussen de tests. De Oxford hangt het sterkst samen met het gemiddelde level, de Garnet het minst sterk, al zijn de verschillen niet zo groot. totlevel

3 tests ltv_

totlevel gar_

totlevel

ltv_totlevel 0,828 gar_totlevel 0,753 0,463 oxf_totlevel 0,854 0,540 0,480 In onderstaande tabel staan de verdelingskenmerken van de tests. Op de Oxford halen de studenten het hoogste level, op de LinguaTV het laagste. Het verschil is aanzien-lijk en bedraagt ruim 1 level. De consequentie hiervan is dat afhankelijk van welke test wordt gebruikt studenten wellicht ten onrechte wel of ten onrechte niet aan een bijspijkerprogramma (moeten) beginnen. Door bij de selectie gebruik te maken van het gemiddelde op de drie tests wordt dit probleem voor een deel getackeld.

totlevel 3 tests

ltv_ totlevel

gar_ totlevel

oxf_ totlevel

aantal studenten 425 409 415 405 missing 2 18 12 22 gemiddelde 3,33 2,77 3,28 3,95 standaarddeviatie 0,61 0,76 0,61 0,85 minimum 1,33 1,00 1,50 1,00 maximum 5,00 5,00 5,00 6,00 Hierna volgen de gemiddelde levels uitgesplitst naar de achtergrondkenmerken. In de tabellen staan behalve de gemiddelden (gem.), ook de aantallen studenten (n) waarop ze betrekking hebben en de standaarddeviaties (SD; die een indruk geven van de spreiding van de levels). opleiding gem. N SD

1 IV 3,43 151 0,62 2 P&A 3,17 133 0,57 3 TBK 3,39 53 0,63 4 WTB 3,36 88 0,61 Totaal 3,33 425 0,61

eta = 0,18

20

sekse gem. N SD

1 man 3,40 309 0,60 2 vrouw 3,13 116 0,60 Totaal 3,33 425 0,61

eta = 0,20 dyslexie gem. N SD

1 ja 3,25 54 0,61 2 nee 3,35 341 0,61 Totaal 3,34 395 0,61

eta = 0,05 welke talen beheersing gem. N SD

1 ned 3,07 46 0,50 2 ned eng 3,45 166 0,60 3 ned eng dui 3,31 113 0,59 4 anders 3,28 70 0,65 Totaal 3,34 395 0,61

eta = 0,20 hoeveel talen beheersing gem. N SD

1 1 3,10 49 0,51 2 2 3,42 178 0,63 3 3 3,29 140 0,59 4 4 of meer 3,43 28 0,65 Totaal 3,34 395 0,61

eta = 0,17 vooropleiding gem. N SD

1 havo 3,39 274 0,55 2 mbo 3,01 93 0,62 3 vwo 3,92 28 0,55 Totaal 3,34 395 0,61

eta = 0,37 profiel gem. N SD

1 CM 3,44 48 0,57 2 EM 3,42 127 0,57 3 NG 3,38 34 0,53 4 NT 3,47 93 0,59 5 mbo BT 3,06 36 0,61 6 mbo niet-BT 2,98 57 0,63 Totaal 3,34 395 0,61

eta = 0,30

21

We zijn ook nog nagegaan wat de samenhang (correlatie) is tussen het gemiddelde level en de cijfers die de studenten in het vo hebben gehaald voor Engels. Die samen-hang ligt behalve met de leesvaardigheid steeds rond de 0,50. totlevel

3 tests

eindcijfer 0,50 eindluisterv 0,50 eindspreekv 0,42 eindleesv 0,52 eindschrijfv 0,52