· Web viewOok is het niet mogelijk op deze wijze grammaticale intuïties en gerichte kennis op...

20

Transcript of   · Web viewOok is het niet mogelijk op deze wijze grammaticale intuïties en gerichte kennis op...

Colofon

Onderzoeksrapport DTTOpgesteld in het kader van de cursusMensen plaatsen met taal (Universiteit Utrecht)

Uitgevoerd door Willemijn ZwartStudentnummer 3213684

Enschede, januari 2016

InhoudsopgaveAchtergrond van dit rapport..............................................................3Managementsamenvatting................................................................4Deel 1. De opbouw van de DTT.........................................................5Deel 2. Taalkundige validiteit van de DTT.........................................9Deel 3. Waarde van DTT voor LADO................................................11Bronnenlijst......................................................................................13

2

Achtergrond van dit rapport

Opdracht- Geef van een bestaande Language Proficiency Test (in dit

geval: de DTT) aan hoe deze opgebouwd is en met welke criteria gewerkt wordt.

- Beoordeel daarnaast in hoeverre deze test vanuit taalkundig perspectief in staat is zinnige uitspraken te doen over de mate van Language Proficiency van het subject dat de test uitvoert.

- Bespreek ten slotte of onderdelen van deze test ook gebruikt kunnen worden binnen LADO1. Immers, McNamara et al. (2010) betogen dat aan LADO dezelfde eisen dienen te worden gesteld als aan Language Proficiency Tests in het algemeen.

Opbouw rapport In deel 1 staat de DTT centraal. Hier worden de opbouw van de DTT, de gebruikte criteria en de gebruikte typen toetsitems behandeld. In deel 2 wordt de taalkundige validiteit van de DTT besproken. Hier wordt ook specifiek aandacht besteed aan de invloed van regionale taalvariatie op de validiteit van de toets. In deel 3 komen mogelijkheden om kenmerken van de DTT binnen LADO te gebruiken aan bod.

1 LADO staat voor Language Analysis for the Determination of Origin, een onderdeel van de Nederlandse verlengde asielprocedure. Zie voor meer informatie over deze procedure Zwaan (2010). 3

Managementsamenvatting

Wat is de DTTDe DTT wordt momenteel ontwikkeld door Stichting Cito in opdracht van het College voor Toetsing en Examens. In februari 2016 wordt de tweede pilotronde gehouden. Momenteel wordt in de DTT alleen schrijfvaardigheid getoetst door middel van gesloten toetsvragen. Afhankelijk van hun antwoorden krijgen leerlingen verschillende vervolgvragen voorgelegd. Dit maakt de toets adaptief.

De taalkundige validiteit van de DTTEr is veel discussie over de validiteit van de DTT, maar de taalkundige validiteit van de toets is daarbij niet eerder apart onder de loep genomen. Een beperkt aantal items in de DTT zijn taalkundig niet valide, deels omdat ‘foute’ antwoorden veroorzaakt kunnen worden door (regionale) taalvariatie. Dit betreft met name vragen waarin leerlingen zelf een woord in moeten voeren.

De waarde van de DTT voor LADOBinnen LADO-procedures wordt nu de taalproductie van een asielaanvrager beoordeeld. Dit is erg arbeidsintensief en lastig om te zetten in kwantitatieve data. Hierin kunnen aspecten van de DTT verandering brengen. Binnen LADO zouden vraagtypes van de DTT gebruikt kunnen worden om de moedertaalkennis van de asielaanvrager te testen. Hierin zouden kenmerkende onderscheidende taalkundige kenmerken van de te onderbouwen moetertaal centraal moeten staan. Deze meer gestandaardiseerde taaltoetsen zouden EU-breed ingezet kunnen worden. Omdat de DTT een schriftelijke toets is, is het hierbij wel van belang dat de asielaanvrager geletterd is in de moedertaal of –talen die centraal staan in de procedure.

4

Deel 1. De opbouw van de DTT

Wat is de DTT? De Diagnostische Tussentijdse Toets (DTT) wordt op dit moment ontwikkeld door het Cito om halverwege de middelbare school (klas 3 havo/vwo; klas 2 vmbo) een tussenmeting voor de taal- (Engels en Nederlands) en rekenvaardigheid te hebben. Dit om na te gaan of de leerlingen op koers liggen voor het behalen van hun streefniveau binnen het Referentiekader Taal en Rekenen en om docenten in de bovenbouw handvatten te geven eventuele deficiënties weg te werken. In de DTT-Nederlands wordt toegewerkt naar een diagnose op de deelaspecten van schrijf-, lees- en luistervaardigheid. Op dit moment is alleen het onderdeel schrijfvaardigheid al uitgewerkt tot een proeftoets, waarmee in 2016 proefgedraaid wordt door het Cito. (CvTE 2015b; CvTE 2014a)

Vorm van de DTTDe DTT bestaat uit twee onderdelen: een facultatieve open schrijftaak en een aantal doortoetsopgaven waarin vier hoofdattributen van het schrijven apart getoetst worden. Per attribuut zijn drie tot vier deelattributen vastgesteld. Deze zijn weergegeven in tabel 1 (volgende pagina). Deze samenhangende structuur van hoofd- en deelattributen is door het Cito opgesteld aan de hand van het model van Deane (Deane et al. 2008, 2011), waarbij de deelattributen zijn bepaald vanuit de concept-tussendoelen (Van der Hoeven 2012) en gekoppeld aan de Doorlopende Leerlijn Taal (Meijerink 2009). (CvTE 2015b; CvTE 2014b; Roelofs & Schouwstra 2012) Scoort een leerling minder op een bepaald attribuut, dan wordt met extra vervolgvragen een uitsplitsing gemaakt in een score per deelattribuut. Zo kan het zijn dat leerlingen in dezelfde klas een andere route door de test afleggen, afhankelijk van hun antwoorden

5

op de vragen. Hierom wordt de DTT ook wel adaptief genoemd. In de berichtgeving van het CvTE over de DTT wordt de facultatieve schrijftaak buiten beschouwing gelaten. (CvTE 2014a,b; CvTE 2015a,b) Informatie over de criteria waarmee deze beoordeeld zou moeten worden of het type opdrachten is momenteel nog niet beschikbaar. Daarom wordt in het vervolg van dit rapport alleen stilgestaan bij de doortoetsopgaven van de DTT.

Beoordelingscriteria in de DTTDe DTT-schrijfvaardigheid Nederlands stelt een diagnose op de in tabel 1 geordende hoofd- en deelattributen van schrijfvaardigheid. Hoofdattributen Deelattributen1. Retorische vaardigheden (doel en publiek)

1.1  voorkennis en informatiebehoefte bij de lezers inschatten1.2  toonzetting afstemmen op de lezer (o.a. formeel-informeel)1.3  schrijfdoel bepalen (bijv. informeren, overtuigen, uitleggen, uitnodigen)

2.Tekststructurele vaardigheden (structuur)

2.1  tekstelementen kiezen, rekening houdend met het genre2.2  passende volgorde van tekstelementen bepalen en correcte indeling en lay-out aanbrengen2.3  samenhang tussen tekstelementen aanbrengen (coherentie)2.4 een standpunt weergeven en van passende argumenten voorzien (alleen h/v)

3 linguïstische vaardigheden (woord- en zinsniveau)

3.1  een correcte zinsbouw hanteren3.2  een passende en cohesieve schrijfstijl hanteren. (Cohesie betreft de syntactische samenhang in tekst; deze kan worden versterkt door gebruikmaking van verwijswoorden, lexicale samenhang door middel van synoniemen en hyponiemen, en door voegwoorden.)3.3  passend en gevarieerd woordgebruik laten zien. (Hiertoe behoort ook figuurlijk taalgebruik (voor havo-vwo).

4 orthografische vaardigheden (spelling en interpunctie)

4.1  correct spellen van werkwoorden4.2  correct toepassen van overige regelgeleide spelling4.3  leestekens en hoofdletters correct hanteren

Tabel 1. Hoofd- en deelattributen in de DTT (CvTE 2014a) 6

De in tabel 1 genoemde attributen zijn ook de criteria waarop leerlingen gescoord worden in de beoordelingsmatrix die automatisch na afronding van de toets over hen ingevuld wordt. Op de volgende pagina zijn hiervan twee voorbeelden te zien (afbeelding 1 en 2).

Afbeelding 1. Beoordelingsmatrix vmbo-k. (CVTE 2014a)

Afbeelding 2. Beoordelingsmatrix vwo (CVTE 2014a) 7

8

Opgaven in de DTTIn de DTT wordt gewerkt met de volgende 13 vraagtypen:

- Klassieke meerkeuzevraag: de leerling kiest het juiste antwoord uit drie of meer alternatieven.

- Matrixvraag: de leerling kiest de juiste antwoorden bij een aantal samenhangende twee- of driekeuzevragen.

- Multiple response: de leerling kiest meerdere juiste antwoorden uit een reeks alternatieven

- Kort open antwoordvraag: de leerling produceert het goede antwoord.

- Gatentekst, kort open slepen: de leerling kiest het goede antwoord en sleept dat naar de juiste plek.

- Gatentekst meerkeuze: per open plek kiest de leerling uit een rij alternatieven in eenrolmenu het juiste antwoord.

- Ordenen van (tekst-)elementen: de leerling sleept een aantal (tekst-)elementen in de juiste volgorde.

- Categoriseren en slepen: de leerling sleept een aantal elementen – letters, woorden, woordgroepen en/of zinnen – naar de juiste categorie.

- Koppelen in tweetallen: de leerling sleept een aantal elementen - letters, woorden of woordgroepen - naar de juiste plek om op die manier tweetallen te vormen.

- Tekstelementen aanklikken: de leerling klikt één of meer elementen - letters, woorden, woordgroepen, zinnen of alinea’s – aan.

- Aanklikken en verbeteren: de leerling klikt één of meer elementen aan waar een fout in zit en geeft in een apart kader een verbetering van de gesignaleerde fout.

- Combinatieopdracht: de leerling maakt binnen het kader van één tekst meerdere, van aard verschillende items.

- Aangeven van alinea’s: in een doorlopende tekst geeft de leerling aan waar alineagrenzen gewenst zijn.

(CvTE 2014a)

9

Niet al deze vraagtypen zijn in de huidige uitwerking taalkundig even valide. Hierbij wordt in het volgende deel van dit rapport uitgebreider stilgestaan.

10

Deel 2. Taalkundige validiteit van de DTT

Discussie over de validiteitIn het veld is de laatste jaren veel discussie over de validiteit van de DTT. (Pullens et al. 2013; De Glopper & Willemsen 2014). Samenvattend richt deze discussie zich op de vraag of het te rechtvaardigen is een productieve vaardigheid (schrijfvaardigheid) te toetsen in een gesloten toetsvorm. Echter, in deze discussie wordt verder niet stilgestaan bij de vraag of de DTT ook taalkundig valide is.

Taalkundige validiteit van de DTTDe meeste voorbeelden van toetsitems zijn taalkundig valide. Dat wil zeggen dat er taalkundig gezien geen twijfel kan bestaan over wat het juiste antwoord op de gegeven vraag is. In uitzonderlijke gevallen zorgt de gebruikte voorbeeldzin voor onnodige onduidelijkheid. Een voorbeeld hiervan staat hieronder in afbeelding 3.

Afbeelding 3. Toetsitem havo leestekens correct hanteren (CvTE 2014a)

Het toetsitem in afbeelding 3 draait om het verbeteren van de leestekens (hoofdletters en interpunctie) in een voorbeeldzin. Echter, de voorbeeldzin is niet volledig in lijn met de gangbare correcte formulering in schriftelijk taalgebruik. Immers, in de correcte oplossing (Twee magneten lopen door de straat. Zegt de een tegen de ander: “Wat zal ik vandaag eens aantrekken?”) begint de tweede zin met een persoonsvorm, terwijl leerlingen in het onderwijs leren dat dit alleen mag in vragende zinnen. Hierdoor

11

zouden zij tot het volgende antwoord kunnen komen: Twee magneten lopen door de straat. Zegt de een tegen de ander: “Wat zal ik vandaag eens aantrekken?”?. Het beoordelingsmodel van deze vraag staat deze uitkomst echter niet toe.

De invloed van regionale taalvariatie op de DTTBinnen het Nederlandse taalgebied is sprake van een niet geringe taalvariatie op alle gebieden van de taalkunde: van fonologie tot semantiek en van syntax tot pragmatiek treden verschillen op. Mogelijk leidt dit bij toetsing van de taalvaardigheid, zoals in de DTT het geval is, tot variatie in antwoorden ten opzichte van het Algemeen Nederlands.Immers: noteert een Limburgse leerling het woord ‘poetsvrouw’ waar in de DDT ‘schoonmaakster’ gevraagd wordt, dan kan hier ten onrechte geconcludeerd worden dat de leerling op lexicaal gebied achterblijft. Met name bij vragen waarbij leerlingen zelf een woord moeten invullen kan dit voor problemen zorgen. Dit is het geval bij twee van de dertien types toetsitems: de korte open antwoordvraag en aanklikken en verbeteren. Een voorbeeld hiervan is hieronder opgenomen in afbeelding 4.

Afbeelding 4. Toetsitem havo hyponiemen correct formuleren (CvTE 2014a)

12

Mogelijk kan bijvoorbeeld in een Randstedelijke taalsituatie bij zin 3 het woord ‘tools’ gebruik worden in plaats van ‘gereedschap’ of ‘gereedschappen’, of kan in een bepaalde regio het werkwoord ‘bewegen’ ook wederkerend (‘zich bewegen’) gebruikt worden, waardoor dit als antwoord bij zin 2 ingevuld wordt. Het is niet denkbeeldig dat op lexicaal gebied meer verschillen tussen regio’s zijn, waarbij de regionale taalgebruiker zich er niet van bewust is dat bepaalde woorden of uitdrukkingen niet tot het standaard Nederlands behoren. Denk bijvoorbeeld aan het Twentse ‘ton’ voor prullenbak, ‘los’ voor open of ‘pikken’ voor plakken. Dit soort variatie beperkt de taalkundige validiteit van een op deze manier ontworpen toets.

Deel 3. Waarde van DTT voor LADO

LADO: analyse van taalproductieDe Nederlandse asielprocedure wordt uitgevoerd door de Immigratie- en naturalisatiedienst (IND) en duurt in principe acht dagen. In sommige gevallen is in de procedure niet voldoende duidelijkheid ontstaan om een besluit omtrent de asielaanvraag te nemen. In zo’n geval start een uitgebreidere procedure. Een onderdeel van deze procedure kan een analyse van de moedertaal of –talen van de aanvrager zijn. Dit wordt LADO (Language Analysis for the Determination of Origin) genoemd. LADO wordt in opdracht van de IND uitgevoerd door Bureau Land en Taal (BLT). (Samson 2015)In Nederland wordt LADO uitgevoerd door een gespecialiseerde taalkundige in samenwerking met een getrainde moedertaalspreker van de taal die de asielaanvrager zegt als moedertaal te spreken. Met behulp van de getrainde moedertaalspreker worden taalsamples opgenomen en geanalyseerd. (Samson 2015; Cambier-Langeveld 2010) Hierin staat dus de taalproductie van de aanvrager 13

centraal.

Nadelen van de huidige LADO-procedureOmdat in de huidige procedure de eigen taalproductie van de aanvrager centraal staat, kan het zijn dat bepaalde kenmerkende aspecten van de desbetreffende taal niet in het taalsample voorkomen. Ook is het niet mogelijk op deze wijze grammaticale intuïties en gerichte kennis op morfologisch vlak te testen. Immers, de analyse beperkt zich tot de constructies die de aanvrager zelf gebruikt heeft. Daarnaast is de huidige LADO-procedure relatief arbeids- en dus kostenintensief en zijn de analyses soms lastig te objectiveren en kwantificeren. Hierin zijn veel parallellen met de uitdagingen waar testontwerpers van Language Proficiency Tests voorstaan. Ook in een schoolse setting is het toetsen van productieve vaardigheden namelijk lastig. (Roelofs & Schouwstra 2012)

DTT-kenmerken inzetten voor LADOKennis van een moedertaal laat zich, blijkens de DTT, ook toetsen door middel van gesloten toetsvragen. Met name toetsitems in de DTT die focussen op linguïstische aspecten zijn geschikt voor LADO:

3. linguistische vaardigheden (op woord- en zinsniveau) 3.1  een correcte zinsbouw hanteren3.2  een passende en cohesieve schrijfstijl hanteren (correct gebruik van verwijswoorden, synoniemen en hyponiemen, voegwoorden.)3.3  passend en gevarieerd woordgebruik laten zien. (Hiertoe behoort ook figuurlijk taalgebruik (voor havo-vwo).

(CvTE 2014a)

In een LADO-versie van deze toets zou het om basale kenmerken van de te testen taal moeten gaan: onregelmatige werkwoorden, meervoudsvorming, vorming van samenstellingen en woordgroepen en de correcte volgorde van zinsdelen bijvoorbeeld.14

Om een dergelijke LADO-DTT goed op te zetten, zou idealiter alle beschikbare kennis van de te onderzoeken taal meegenomen moeten worden. Met name relevante taalkundige kenmerken om bepaalde taalvarianten van elkaar te onderscheiden zijn hierbij essentieel. Hoe uitgebreider de kennis van de actuele taalsituatie in een regio is, hoe beter de toetsitems in een dergelijke toets ontworpen kan worden. Europese uitwisseling op dit vlak van verschillende met LADO werkende instanties kan hieraan bijdragen.

Aandachtspunten bij een LADO-DTTOmdat de DTT een schriftelijke toets is, is het van belang dat de asielaanvrager geletterd is in de moedertaal of –talen die centraal staan in de LADO-procedure. Een dergelijke toets is complementair aan de huidige LADO-procedure. Dit wil dus niet zeggen dat een dergelijke toets de huidige procedure vervangt, aangezien beide testmethodes elkaar juist aanvullen. Ook is het van belang voor een dusdanig uitgebreide en gevarieerde set aan toetsitems per taal te zorgen, dat de goede antwoorden niet uit het hoofd geleerd kunnen worden.

Bronnenlijst

Cito (2012). De diagostische tussentijdse toets. Tussenstand in ontwikkeling. Arnhem: Cito. Geraadpleegd als cito_diagnostische_tussentijdse_toets.pdf, downloadbaar via http://www.cito.nl/~/media/cito_nl/files/over%20cito/cito_diagnostische_tussentijdse_toets.ashx

CvTE (2015a). De diagnostische tussentijdse toets. Een toets om van te leren. Utrecht: College voor Toetsen en Examens. Geraadpleegd als ddt_brochure_2015.pdf, downloadbaar via https://www.hetcvte.nl/document/brochure_de_diagnostische_2.

CvTE (2015b). De diagnostische tussentijdse toets. Een toets om van te leren. 15

Utrecht: College voor Toetsen en Examens. Geraadpleegd als ddt_flyer_2015.pdf, downloadbaar via https://www.hetcvte.nl/document/flyer_de_diagnostische_2.

CvTE (2014b). Publieksversie toetswijzer diagnostische tussentijdse toets voor Nederlands, Engels en wiskunde. Inhoudsverantwoording. Utrecht: College voor Toetsen en Examens. p. 5-67. Geraadpleegd als toetswijzer_diagnostische_tussentijdse_toets_publieksversie_dec_2014.pdf, downloadbaar via https://www.hetcvte.nl/document/publieksversie_toetswijzer.

CvTE (2014a). Servicedocument bij de Toetswijzer van de diagnostische tussentijdse toets. Utrecht: College voor Toetsen en Examens. p. 3-7. Geraadpleegd als servicedocument_toetswijzercommissies_diagnostische_tussentijdse_toets_publieksversie_dec_2014.pdf, downloadbaar via https://www.hetcvte.nl/document/servicedocument.

Deane, P. (2011). Writing Assessment and Cognition. Research Report ETS RR–11-14. Princeton: Educational Testing Service.

Deane, P. et al. (2008). Cognitive Models of Writing: Writing Proficiency as a Complex Integrated Skill. Research Report ETS RR-08-55. Princeton: Educational Testing Service.

Hoeven, M. van der (Red.) (2012). Adviezen tussendoelen kernvakken onderbouw vo. Enschede: SLO.

McNamara, T. et al. (2010). LADO, validity and language testing. In K.Zwaan et al. (Red.).

Meijerink, H. (vz.) (2009). Over de drempels met taal en rekenen. Een nadere beschouwing. Enschede: Expertgroep Doorlopende Leerlijnen Taal en Rekenen (SLO).

Roelofs E. & S. Schouwstra (Red.) (2012). Diagnostische tussentijdse toets. Verslag van een voorstudie. Arnhem: Cito.

SLO (2012). Concept-advies tussendoelen kernvakken onderbouw VO. Enschede: SLO.

16

Zwaan, K. et al. (Red.) (2010). Language and Origin. The Role of Language in European Asylum Procedures. Linguistic and Legal Perspectives. Nijmegen: Wolf Legal Publishers. 61-72.

17