Geert Driessen (2012) Presessional testing and learning

Click here to load reader

  • date post

    16-Jul-2015
  • Category

    Education

  • view

    154
  • download

    0

Embed Size (px)

Transcript of Geert Driessen (2012) Presessional testing and learning

  • Het ITS maakt deel uit

    van de Radboud

    Universiteit Nijmegen

    evaluatie, monitoring, tevreeffectonderzoek en dataver

    onderwijs arbeidsamenleving data zorggezondheid onderwijs

    sociale zekerheidtoegepaste wetenschaponderzoek zorg welzijn

    arbeid mobiliteitzorg en welzijn beleids-

    Pre-sessional testing and learning Een onderzoekspilot gericht op het verbeteren van de taalvaardigheid Engels van startende Avans Hogeschool-studenten Geert Driessen Oktober 2012

  • ii

    Projectnummer: 34001023 2012 ITS, Radboud Universiteit Nijmegen Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen, zonder de voorafgaande schriftelijke toestemming van het ITS van de Radboud Universiteit Nijmegen. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.

  • iii

    Inhoud 1 Inleiding 1

    1.1 Vraagstelling 1 1.2 Opzet pilot 2 1.3 Tussentijdse ervaringen en bijstellingen 2 1.4 Tussentijdse uitval studenten 3 1.5 Opzet rapportage 4

    2 Het niveau volgens de Oxford OPT en volgens de docenten vergeleken 5

    2.1 Inleiding 5 2.2 Nameting Oxford OPT totaal docentenoordeel Speaking 6 2.3 Nameting Oxford OPT totaal docentenoordeel Writing 7 2.4 Nameting Oxford OPT totaal docentenoordeel Speaking en Writing 7 2.5 Nameting Oxford OPT Usage docentenoordeel Writing 9 2.6 Voormeting Oxford OPT totaal docentenoordeel Writing 9 2.7 Nameting Oxford OPT totaal en docentenoordeel Listening en Writing 10 2.8 Conclusies 12

    3 Het aandeel studenten met een instapniveau lager dan B1 13

    3.1 Inleiding 13 3.2 Gemiddelde niveau drie tests 14 3.3 Oxford OPT totaal niveau 16 3.4 Oxford OPT totaal niveau met correctiefactor 17 3.5 Oxford OPT totaal niveau nader gedifferentieerd 18 3.6 Oxford OPT totaal niveau nader gedifferentieerd met correctiefactor 19 3.7 Samenvattend 19

    4 De Oxford OPT 21

    4.1 Inleiding 21 4.2 De taalvaardigheid volgens de Oxford OPT bij de voor- en nameting 21 4.3 De Oxford OPT bij de nameting naar achtergrondkenmerken 23 4.4 De ontwikkeling van de taalvaardigheid 25 4.5 Ontwikkeling taalvaardigheid naar achtergrondkenmerken 26

  • iv

    5 De docentenoordelen 33 5.1 Inleiding 33 5.2 De ontwikkeling van de taalvaardigheid 34 5.3 Samenhangen eindexamencijfers en docentenoordelen 37

    6 De ITAV Placement Test 39

    6.1 Inleiding 39 6.2 Verdelingskenmerken van de ITAV Placement Test 40 6.3 De ITAV Placement Test naar achtergrondkenmerken 40 6.4 Samenhangen tussen de ITAV Placement Test en de Oxford OPT en

    docentenbeoordelingen 43 7 Effecten van de taaltrainingsprogrammas 47

    7.1 Deelname programmas 47 7.2 Deelname naar achtergrondkenmerken 48 7.3 Taalvaardigheid naar deelname programma 51

    8 De evaluatie van de tests en programmas door de studenten 55

    8.1 Inleiding 55 8.2 De evaluatie van de tests 55 8.3 De evaluatie van de programmas 60

    9 Samenvatting en conclusies 63

    9.1 Probleemstelling 63 9.2 Opzet onderzoekspilot 63 9.3 Het niveau volgens de Oxford OPT en volgens de docenten 64 9.4 Het aandeel studenten met een (te) laag instapniveau 65 9.5 De Oxford OPT 66 9.6 De docentenoordelen 66 9.7 De ITAV Placement Test 67 9.8 Effecten van taaltrainingsprogrammas 68 9.9 Het oordeel van de studenten over de tests en programmas 70

    Bijlage

  • 1

    1 Inleiding 1.1 Vraagstelling Avans Hogeschool wil studenten via het curriculum Engels opleiden van niveau B1 naar niveau B2 van het ERK (Europees Referentie Kader). De eindterm voor het vak Engels voor havo is B1, die voor mbo A2. De beginniveaus van de studenten ver-schillen aanzienlijk en zijn niet altijd adequaat. De vakgroepdocenten Engels van Avans Hogeschool schatten dat bijna de helft van de instromende eerstejaarsstudenten niet het gewenste instapniveau B1 (op alle vier de taalmodaliteiten) heeft. Een grote groep studenten zou daarom gedurende het eerste jaar, buiten het normale curriculum Engels, dienen te werken aan het verkrijgen van het benodigde instapniveau Engels (pre-sessional learning), zonder dat daar verder een docent bij betrokken is. In september 2011 heeft Avans Hogeschool het ITS van de Radboud Universiteit Nijmegen benaderd in verband met de evaluatie van een onderzoekspilot. De twee onderzoeksvragen die daar aan ten grondslag liggen luiden: Hoe kan het beste het instapniveau Engels van Avans-studenten worden vastge-

    steld? Welke e-learning methode is het meest geschikt om studenten die dat nodig hebben

    te ondersteunen bij het alsnog bereiken van het vereiste instapniveau Engels?

    De onderzoekspilot dient Avans Hogeschool te ondersteunen bij het zo goed mogelijk opzetten van een extra curriculum Engels voor studenten gedurende het eerste studie-jaar, zodat deze allemaal met ten minste niveau B1 kunnen starten aan het tweede jaar wanneer het curriculum Engels start. Daartoe dient allereerst nagegaan te worden welke instrumenten (e-testing) ingezet kunnen worden bij het op betrouwbare en valide wijze bepalen van welke studenten extra training nodig hebben en welke niet. Vervolgens moet worden onderzocht welke e-learning methode bij deze extra curricu-luminzet het meest efficint en effectief is.

  • 2

    1.2 Opzet pilot De door Avans Hogeschool opgezette pilot heeft het karakter van een experimenteel design, met de volgende specificaties:1 Ca. 400 studenten maken aan het begin van het studiejaar ieder drie online niveau-

    bepalingstests (nl. de LinguaTV Placement Test, de Garnet I-Test en de Oxford Online Placement Test).

    De ca. 200 laagstscorende studenten volgen ieder, volgens random toewijzing op studentniveau, n van de twee docentloze leermethodes (nl. de LinguaTV Langu-age Training en de Campus Language Training).

    Ca. 400 studenten (minus de studenten die gedurende het propedeuse jaar zijn afgevallen) maken aan het eind van het studiejaar nogmaals de niveaubepalings-tests. Nagegaan wordt wat de leerwinst is en in hoeverre die te maken heeft met de gevolgde leermethode en de intensiteit waarmee de studenten daaraan hebben ge-werkt.

    Ca. 40 studenten (een random selectie) nemen ter validatie van de online testresul-taten tevens deel aan een taalniveau assessment door Avans docenten. Dit assess-ment vindt plaats aan het begin en aan het eind van het studiejaar bij zoveel moge-lijk dezelfde studenten, dit ter vergroting van het inzicht in de validiteit van enerzijds de beginniveau-bepaling en anderzijds de effectiviteit van de docentloze instructie.

    Het ITS heeft met deze specificaties als vertrekpunt een pretest-posttest control group design uitgewerkt.2 1.3 Tussentijdse ervaringen en bijstellingen Op basis van de bij de beginmeting verzamelde gegevens heeft het ITS twee rappor-tages vervaardigd. Het eerste had tot doel te komen tot een verantwoorde selectie van de laagstscorende studenten die zouden worden verzocht deel te nemen aan een van de beide leermethodes. De tweede betrof een beschrijving van de taalvaardigheid van de studenten bij de voormeting (resultaten op de drie tests, onderlinge samenhangen tussen de drie tests, en de resultaten op de tests uitgesplitst naar een aantal

    1 N. de Bruin, J. den Engelsman & B. Goffin (2011). Onderzoeksvoorstel Pilot pre-sessional learning

    Engels Avans Hogeschool. Aanvraag voor financiering pilot intake tests en docentloos bijspijkeren tot kansrijk instapniveau Engels. S.l.: Avans Hogeschool.

    2 Zie T. Mooij, D. Fettelaar & G. Driessen (2011). Pre-sessional testing en learning: Een onderzoekspilot. Offerte. Nijmegen: ITS.

  • 3

    kenmerken van de studenten, zoals vooropleiding en huidige opleiding/studie-richting).3 Naar aanleiding van bij de eerste fase van de pilot opgedane ervaringen en de resulta-ten van de analyses, heeft Avans Hogeschool enkele wijzingen aangebracht in het oorspronkelijke onderzoeksdesign. Daarvoor waren verschillende redenen. Allereerst bleek dat de drie tests niet allemaal even geschikt waren voor het gestelde doel (zie bijlage). Ze bestreken niet adequaat genoeg de gewenste taaldomeinen, voldeden niet qua niveau of vertoonden in afname-technisch opzicht tekortkomingen. Twee van de tests bleken bovendien in de praktijk afname-technisch dusdanig instabiel en bewer-kelijk te zijn, dat zij een enorme belasting met zich meebrachten, voor zowel studen-ten als organisatie. Uiteindelijk is de beslissing genomen om bij de nameting twee tests (de Garnet I-Test en LinguaTV Placement Test) te laten vervallen. Besloten is de Oxford Online Placement Test (voortaan: de Oxford OPT) als minst slechte optie te handhaven. Gedurende de fase tussen de eerste en de tweede testafnamerondes heeft Avans Hogeschool nog verder gezocht naar geschikte online ERK placement tests, maar dat leverde niet zoveel op. De zoektocht naar alternatieven leidde er wel toe dat voor de nameting nog een cloze-test is toegevoegd, de ITAV Placement Test. Dit type test bleek volgens de literatuur hoog te scoren qua validiteit.. 1.4 Tussentijdse uitval studenten Voordat we verder gaan met de inhoudelijke rapportage, willen we nog kort ingaan op de steekproeven van studenten die aan de pilot hebben deelgenomen. Tussen de voor- en nameting is er sprake van uitval. Voor een juiste interpretatie van de bevin-dingen is het van belang te weten of het selectieve uitval betreft. Zijn het misschien de slechtere studenten die zijn uitgevallen? Als dat zo is zou dat tot een vertekeni