Universiteit van Amsterdam

Faculteit der Maatschappij- en Gedragswetenschappen Bachelor Onderwijskunde 2008-2009

Een nieuwe test voor het meten van leesbegripsvaardigheden bij

leerlingen op het VMBO; resultaten van een valideringsonderzoek

gericht op de inhoudsvaliditeit

Daas, Remmert., Havermans, Remy. & Van Noortwijk, Jeffrey. (2009)

Module: Onderzoekspracticum Bachelor Onderwijskunde 2008-2009

Begeleider: R.V.M. van Steensel

Inleverdatum: 20 mei 2009

1

2

Inhoudsopgave

1. Inleiding…………………………………………………………………… 4

2. SALSA-project……………………………………………………………. 4

3. SALSA-toets………………………………………………………………..5

4. Valideringsonderzoek……………………………………………………...8

5. Theoretisch kader inhoudsvaliditeit……………………………………....9

6. Onderzoeksvragen………………………………………………………....14

7. Methode…………………………………………………………………….15

8. Resultaten…………………………………………………………………..21

9. Vaardigheden begrijpend lezen…………………………………………...21

10. Beoordeling SALSA-toets………………………………………………….26

11. Conclusie……………………………………………………………………36

12. Discussie……………………………………………………………………..41

13. Literatuur…………………………………………………………………...44

Bijlagen

Bijlage 1. Inleidende brief aan docenten……………………………………...47

Bijlage 2. Concept map voorbeeld…………………………………………….49

Bijlage 3. Interviewagenda…………………………………………………….50

Bijlage 4. Vragenlijsten………………………………………………………...51

3

1. Inleiding

De vaardigheid in lezen en schrijven wordt van groot belang geacht voor de

schoolcarrière van leerlingen en hun latere maatschappelijke loopbaan. Veel leerlingen

in het voortgezet onderwijs, en met name op het VMBO1, blijven echter achter in de

ontwikkeling van lees- en schrijfvaardigheid (OECD, 2001; Dagevos et al., 2003). Dit

kan vertraging van de schoolloopbaan of zelfs schooluitval tot gevolg hebben (Van

Steensel, 2009). Om na te gaan waardoor leerlingen achterblijven en wat er gedaan kan

worden om de situatie van deze achterblijvende leerlingen op het VMBO te verbeteren

is het van belang onderzoek te doen naar factoren die de lees- en schrijfontwikkeling

van deze leerlingen bepalen. Onderzoek betreffende geletterdheid van adolescenten en

haar determinanten zijn relatief schaars (Curtis, 2002), maar van groot belang om deze

leerlingen met een achterstand te kunnen helpen. Om daarin meer inzicht te krijgen is

het SALSA-project in het leven geroepen. Het SALSA-project streeft ernaar uitspraken

te doen over een- en meertalige leerlingen die onderwijs volgen in een meertalige

context.

2. SALSA-project

Het doel van het SALSA-project is om, door middel van een combinatie van kwalitatief

en kwantitatief onderzoek, na te gaan waardoor verschillen tussen VMBO-leerlingen in

lees- en schrijfontwikkeling worden bepaald. Dit project wordt in Nederland uitgevoerd

door de Universiteit van Amsterdam en de Universiteit Utrecht. Hiernaast maakt het

SALSA-project deel uit van een internationale vergelijkingsstudie, waarbij

vergelijkbare projecten lopen in Toronto (Canada) en Geneve (Zwitserland).

Dit onderzoeksverslag maakt deel uit van een studie binnen het SALSA-project

die zich richt op het volgen van de lees- en schrijfontwikkeling van leerlingen met

behulp van een gecombineerde lees- en schrijftoets. Deze toets, die in het vervolg van

dit verslag zal worden aangeduid als de SALSA-toets, is speciaal voor dit project

ontwikkeld en zal meer inzicht geven in de geletterdheid van leerlingen. In de context

van deze toets wordt onder lezen, begrijpend lezen verstaan en onder schrijven,

1 Basis- & kaderberoepsgerichte leerweg

4

tekstproductie. Dit onderzoek, dat zich richt op het begrijpend leesgedeelte van de toets,

maakt onderdeel uit van een valideringsonderzoek om te kijken of de data die met deze

nieuw ontwikkelde leestoets worden verzameld een goede indicatie geven van datgene

wat getracht wordt te onderzoeken.

3. SALSA-toets

De nieuw ontwikkelde begrijpend-leestoets is in 2007 ontwikkeld door een team van

onderzoekers uit drie parallel aan elkaar lopende projecten in Canada, Zwitserland en

Nederland en wordt jaarlijks bij een steekproef van leerlingen afgenomen. De toets

bestaat in totaal uit 9 leestaken waarbij vragen omtrent begrijpend lezen moeten worden

beantwoord.

Leestaakselectie

De SALSA-toets bestaat uit 9 leestaken waarin begrijpend-leesvaardigheden worden

gemeten. Onderzoek toont aan dat verschillende teksttypen beroep doen op

verschillende vaardigheden (cf. Harris et al., 1998; Lin et al., 2000). Om te voorkomen

dat toetsscores te afhankelijk worden van het vermogen om een specifieke tekstsoort te

verwerken, is er gestreefd naar een gelijke verdeling van teksttypen. Hierbij is enerzijds

onderscheid gemaakt tussen continue en discontinue teksten en anderzijds verhalende

teksten, uiteenzetting, betogen en instructies. De precieze verdeling is weergegeven in

Tabel 1. Continue teksten bestaan uit zinnen die zijn georganiseerd in grotere eenheden

zoals paragrafen, alinea’s en hoofdstukken. Discontinue teksten zijn teksten

georganiseerd in bijvoorbeeld rijen en kolommen en bevatten lijsten, schema’s, tabellen

en grafieken. Binnen de context van de SALSA-toets zijn de toetsen gecategoriseerd als

discontinu wanneer zij lijsten en schema’s bevatten. De verhalen, zowel fictie als non-

fictie, omschrijven gebeurtenissen omtrent personen en objecten. In de uiteenzettingen

worden omschrijvingen gegeven van een bepaald mentaal construct, de elementen

waarin het construct kan worden geanalyseerd en de onderliggende relaties tussen deze

elementen. Betogen zijn overtuigende teksten waarin de auteur door middel van het

aanbrengen van argumenten zijn of haar standpunt verdedigt. Instructieve teksten geven

aanwijzingen en omvatten bijvoorbeeld stappenplannen, regels en reglementen (Van

Steensel, 2009).

5

De teksten die voorkomen in de SALSA-leestoets zijn geselecteerd uit

verschillende media. Hierbij is onderscheid gemaakt tussen vier typen media te weten:

schoolboeken, kranten en tijdschriften, officiële documenten en internet websites. Het

doel bij de selectie van de teksten was het streven naar een uitgebalanceerde verdeling

van de teksten uit verschillende media (Van Steensel, 2009). In alle gevallen was de

intentie om teksten te selecteren die dichtbij de belevingswereld van de doelgroep

liggen en contextneutraal zijn. Dit laatste is in verband met verschillende culturele

ladingen die teksten kunnen hebben, wat gezien het feit dat deze studie deel uit maakt

van een internationale vergelijking, moet worden vermeden. In tabel 1 staat de verdeling

van de leestaken en de media waaruit deze komen gepresenteerd. De titels van de

teksten staan hier ook bij vermeld. Alle teksten zijn (delen van) authentieke teksten.

Tabel 1: Verdeling van de teksten over teksttype en media; discontinue teksten zijn aangeduid met een* Verhalend Betogen Uiteenzettingen Instructies (school)boeken VER1

(‘Koning Kostuum’) UIT1

(‘Vietnam’)

Kranten en tijdschriften

VER2 (‘De plank’)

BET1 (‘Mobieltjesverbod’) BET2 (‘Biobrandstof’)

UIT2 (‘Aromajockey’) UIT3* (‘Buurtkrant’)

Officiele documenten

INS1* (‘Huisregels’)

Internet INS2* (‘Camping website’)

Bron: Van Steensel et al. (2009)

‘Koning Kostuum’ is een fictief Italiaans volksverhaal waarbij de hoofdpersoon door

middel van zijn kleding verschillende reacties uitlokt in zijn omgeving. ‘De plank’ is

een verhaal uit een jongerentijdschrift over een meisje dat opgaat voor een Tae

Kwondo-examen. ‘Mobieltjesverbod’ bestaat uit 2 artikelen uit respectievelijk een krant

en een nieuwswebsite waarin de voor- en nadelen van een schoolverbod voor mobiele

telefoons worden besproken. ‘Biobrandstof’ is een artikel uit de ANWB-Kampioen over

de voordelen van biobrandstof. ’Vietnam’ bestaat uit twee korte schoolboekteksten over

de koloniale geschiedenis van Vietnam. In de eerste tekst staan de ervaringen van een

jongen in de oorlog omschreven en de tweede tekst is een educatieve leertekst. ‘Aroma-

jockey’ is een artikel uit een jongerentijdschrift over iemand met een bijzonder beroep

in het uitgaanscircuit. De ‘Buurtkrant’ is een artikel uit een buurtkrant waarin de

beleving van veiligheid in een aantal buurten staat beschreven. In de instructieve tekst

‘Huisregels’ staan 11 huisregels van een jeugdherberg beschreven. ‘Camping de Maas’

6

is een website van een camping in Limburg met instructies over onder andere hoe te

reserveren.

Item constructie

Begrijpend lezen is een proces waarbij tegelijkertijd informatieverwerkingsprocessen

van verschillende niveaus werkzaam zijn om een mentale representatie van een tekst te

maken (Garner, 1987). Sommige van deze processen hebben betrekking op de

technische verwerking van de tekst en andere hebben betrekking op het pure tekstbegrip

(Francis e.a., 2006). Elk van deze deelprocessen doet een beroep op een bepaalde set

vaardigheden. De processen die betrekking hebben op de technische verwerking beslaan

zodoende het technische lezen, mondelinge- en narratieve vaardigheden. De processen

die bijdragen aan het pure tekstbegrip hebben betrekking op het maken van inferenties

in een tekst, het ophalen van informatie uit het geheugen en het kennis hebben over de

wereld. De SALSA-toets richt zich op de laatstgenoemde pure tekstbegrips-

vaardigheden. Hierbinnen zijn er drie typen vaardigheden te onderscheiden (Rosenshine,

1980), waarbij processen spelen op het micro- en macroniveau van een tekst. Het

microniveau refereert naar het begrip over kleine proposities in de tekst en de relaties

hiertussen en het macroniveau refereert naar het begrip over grotere tekstdelen en de

tekst als geheel (Klintsch, 1998). Omdat leerlingen op beide niveaus moeten acteren om

een tekst volledig te kunnen begrijpen worden de leesbegripsvaardigheden van

leerlingen in de SALSA-toets op zowel micro- als macroniveau getoetst. De drie typen

pure teksbegripsvaardigheden staan hieronder beschreven. Hierbij vinden de eerste twee

vaardigheden plaats op microniveau, en de derde vaardigheid op macroniveau.

1) retrieving: Het ophalen van (detail)informatie uit de tekst

2) interpreting: Het afleiden van impliciete informatie uit tekstonderdelen

3) reflecting: Het maken van afleidingen uit langere passages, danwel hele

teksten.

De uiteindelijke versie van de SALSA-toets bestaat uit een mix van 65 meerkeuze- en

open vragen. Er zitten 25 retrieving-vragen in de toets, 21 interpreting-vragen en 19

reflecting-vragen. Deze komen afwisselend voor in diverse teksten.

7

4. Valideringsonderzoek

In een analyse van Van Steensel (2009) is ondersteuning gevonden voor de

constructvaliditeit van deze leestoets door middel van onderzoek naar de construct

(ir)relevantie, interne structuur en externe structuur. De constructvaliditeit kijkt naar de

mate waarin de interpretatie van de testscores ondersteund word door empirisch

bewijsmateriaal en theoretische onderbouwing (Messick, 1989). Hierbij wordt gekeken

in hoeverre de aspecten die vallen onder een bepaald construct, ook daadwerkelijk

worden gemeten in de toets. De construct (ir)relevantie richt zich op variabelen die

irrelevant worden geacht voor het meten van een construct en bekijkt in hoeverre deze

van invloed zijn voor het al dan niet moeilijk vinden van een leestaak door de leerlingen.

De interne structuur bekijkt of theoretisch verwachte patronen en verbanden tussen

item-scores empirisch kunnen worden bevestigd. De externe structuur refereert naar

empirisch onderzoek of theoretische verbanden tussen de testscore en andere metingen.

In Van Steensel (2009) is de construct (ir)relevantie onderzocht door middel van

een vergelijking tussen de leesbaarheidsscores van de geselecteerde teksten en het

moeilijkheidsniveau van de bijbehorende taken zoals is geïndiceerd aan de hand van de

gemiddelde scores van de leerlingen. De resultaten ondersteunden de hypothese dat het

moeilijkheidsniveau van de toetsen voornamelijk bepaald werd door het

moeilijkheidsniveau van de teksten. Op het gebied van de interne structuur is een

toereikende hoge betrouwbaarheids-coëfficiënt gevonden. De analyse omtrent de

externe structuur van de toets toonde aan dat er een substantiële relatie is vastgesteld

tussen de scores op de leestoets en de meting van vaardigheden, waarvan op

theoretische gronden verondersteld wordt dat die gerelateerd zijn aan begrijpend lezen.

In de hierboven beschreven analyse zijn ook enkele lacunes boven water

gekomen. Zo waren er op het onderdeel van de construct (ir)relevantie twee teksten

waarbij de gemiddelde score niet overeenkwam met de indeling in moeilijkheid aan de

hand van de leesbaarheidsscores. Hiernaast is er betreffende de interne structuur geen

empirisch bewijs gevonden die de aanwezigheid van de drie vaardigheden die vallen

onder begrijpend lezen zoals deze aan bod komen in de SALSA-toets, bevestigd. Gezien

deze lacunes nog niet geconcludeerd kunnen worden vanuit de gegevens die naar voren

zijn gekomen bij het onderzoeken van de constructvaliditeit, is het van belang om

8

andere aspecten van validiteit te belichten. In dit onderzoek is daarom de

inhoudsvaliditeit van deze SALSA-toets onderzocht, hetgeen hieronder staat beschreven.

5. Theoretisch kader inhoudsvaliditeit

Validiteit is een van de van de meest fundamentele begrippen wanneer het om testen,

toetsen of andere vormen van onderzoek gaat. Ook in de literatuur aan aanduidingen

van het belang hiervan geen gebrek: “validity is the most important consideration in

language testing” (AERA et al., 1985: 9), “essentially, testing should be concerned with

evidence-based validity” (Weir, 2005: 1), “validation has become the de facto paradigm

for language testing research and development.” (Bachman, 2000: 23). Validiteit is

gericht op het nut van een test; kunnen de scores iets zeggen over de vaardigheid van de

testnemer? En zo ja, in hoeverre is dit juist? Binnen de sociale wetenschap omschrijft

Bryman (2004) validiteit als een begrip dat zich bezighoud met de integriteit van de

conclusies die uit een onderzoek naar voren komen. Binnen de taalwetenschap is de

meest gangbare definitie van validiteit of de test nauwkeurig meet wat hij bedoelt te

meten (Hughes, 1989: 22). Deze definities verschillen enigszins omdat natuurlijk ook de

onderzoekstechnieken tussen deze typen onderzoek verschillen. Voor dit onderzoek is

vooral de definitie van validiteit omtrent taaltoetsing van belang, waarbij de definitie

van Hughes als uitgangspunt dient.

Verschillende typen validiteit

Hoewel de hierboven gegeven beschrijving betrekkelijk rechtlijnig is, is het concept

validiteit de afgelopen halve eeuw wel degelijk veranderd en kan er op verschillende

manieren naar gekeken worden. Binnen de sociale wetenschap lijkt men het concept

validiteit zoveel mogelijk te hebben opgesplitst in verschillende typen validiteit.

Bryman (2004: 28-9) spreekt binnen de sociale wetenschap over ‘measurement validity’,

‘internal validity’, ‘external validity’ en ‘ecological validity’. Het gaat hier om het

onderscheid tussen representatieve meting (measurement validity), causaliteit (internal

validity), generaliseerbaarheid (external validity) en toepasbaarheid (ecological validity).

Bryman (2004: 72) merkt op dat wanneer over validiteit gesproken wordt, veelal

‘measurement validity’ bedoeld wordt. Deze is weer onder te verdelen in een reeks

typen. Cohen et al. (2007) noemen content validity, criterion-related validity, construct

9

validity, concurrent validity, face validity, jury validity, predicitive validity,

consequential validity, systematic validity, catalytic validity, cultural validity,

descriptive validity, interpretive validity, theoretical validity en evaluative validity.

Deze verschillende typen validiteit zijn gerelateerd aan de verschillende typen bewijs,

en manieren waarop bewijs verzameld kan worden, om onderzoeksresultaten te

ondersteunen.

In een uitgebreide uiteenzetting geven Fulcher en Davidson (2007) een beeld van de

ontwikkeling van het concept validiteit binnen de taalwetenschap. Eerst was er sprake

van een concept dat door Cronbach en Meehl (1955) werd onderverdeeld in drie typen:

criteriumvaliditeit (1), de relatie tussen test scores en in hoeverre zij succes op een

bepaald criterium kunnen voorspellen. Inhoudsvaliditeit (2), hier gaat het erom aan te

tonen dat de inhoud van een toets representatief is voor het domein dat getoetst wordt.

Constructvaliditeit (3), waar het gaat om de vraag of het instrument een bepaald

construct reflecteert waar betekenis aan verbonden kan worden. Deze verdeling werd

minder strak met het beeld van Messick (1989) dat validiteit een integraal concept is,

omdat criteriumvaliditeit en inhoudsvaliditeit ook als onderdeel van constructvaliditeit

gezien zouden kunnen worden.

Deze ontwikkeling wordt ook weerspiegeld in de uitwerking van het concept in

de Standards for Educational and Psychological Testing. In de eerste editie (APA,

1954) werd nog gesproken van vier typen validiteit (concurrente validiteit, predictieve

validiteit, inhoudsvaliditeit en constructvaliditeit). In 1966 waren dit drie typen,

namelijk criteriumvaliditeit, inhoudsvaliditeit en constructvaliditeit. Ook in de editie

van 1974 werden deze gehanteerd, met de opmerking dat ze sterk samenhangen. In de

edities van 1985 en 1999 werden de categorieën opgegeven en werd een enkelvoudig

concept gehanteerd:

Validity is the most important consideration in test evaluation. The concept refers to the appropriateness, meaningfulness, and usefulness of the specific inferences made from test scores. Test validation is the process of accumulating evidence to support any particular inference. Validity, however, is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scores. The inferences regarding specific uses of a test are validated, not the test itself.

(AERA et al., 1985: 9)

10

Het concept validiteit wordt gezien als unitair, waar meerdere typen bewijs voor

verzameld kunnen worden. Het is ook van belang om in relatie met het bovenstaande te

onderkennen dat een test voor een bepaald doel gevalideerd wordt. Het is dus niet zo dat

een test zelf valide is, het is een valide instrument om een bepaald construct te meten.

Het zal duidelijk zijn dat het in eerste instantie heldere concept validiteit aan

verandering en verschillende interpretaties en invalshoeken onderhevig is. Net als

Cohen et al. en Cronbach en Meehl wordt in dit onderzoek uitgegaan van verschillende

typen validiteit. Hierbij wordt de bepaling van AERA in acht genomen dat de

verschillende typen validiteit een weerspiegeling zijn van de verschillende typen bewijs

die omtrent validiteit verzameld kunnen worden. Er zou dus ook gesproken kunnen

worden van een bepaald type validiteitbewijs. Omdat in de literatuur nog altijd

gesproken wordt over validiteitonderzoek wordt de term validiteit gehanteerd.

Inhoudsvaliditeit

Dit onderzoek is gericht op de inhoudelijke geschiktheid van een set taaltoetsen om de

leesvaardigheid van vmbo leerlingen te meten. Hoewel hierboven geschetst is dat de

verschillende typen validiteit binnen de taalwetenschappen niet (meer) als afzonderlijke

concepten gezien worden, richt dit onderzoek zich specifiek op de inhoudsvaliditeit.

Zoals eerder geschetst ligt het accent hierbij op een bepaald type bewijs, niet op een

afzonderlijk type validiteit. Het is voor de verdere uitwerking van het onderzoek dus

van belang om het begrip inhoudsvaliditeit verder uit te werken.

Zoals eerder genoemd omschrijven Crohnbach en Meehl (1955)

inhoudsvaliditeit als het aantonen dat de inhoud van een toets representatief is voor het

domein dat getoetst wordt. Hieruit volgt dat inhoudsvaliditeit gericht is op de inhoud

van een test of toets. De vraag die hierbij gesteld wordt is of de inhoud van de toets, al

dan niet, representatief is voor hetgeen (in dit onderzoek, leesvaardigheid) getoetst

wordt.

Het belang van inhoudsvaliditeit komt naar voren door de afwegingen die

toetsontwikkelaars moeten maken. Wanneer een toets ontwikkeld wordt, heeft de maker

keuze uit een verscheidenheid aan teksten, waarbij ook een verscheidenheid aan vragen

gesteld kan worden op een verscheidenheid aan manieren. Het zal duidelijk zijn dat het

onmogelijk is om alle teksten, met alle vragen en alle manieren in de toets op te nemen.

Hierin worden dus afwegingen gemaakt. Deze afwegingen kunnen gedaan worden op

basis van de doelstellingen en vaardigheden die gespecificeerd zijn. Ook deze

11

doelstellingen en vaardigheden zijn echter een afweging uit een scala aan mogelijke

doelstellingen en vaardigheden. Hierbinnen is het van belang dat een test een accurate

en effectieve afspiegeling is van alle mogelijkheden binnen het domein.

Inhoudsvaliditeit draait dus om de inhoudelijke representativiteit en

generaliseerbaarheid van een test (Colpin et. al., 2006: 16). Representativiteit refereert

hierbij naar het opnemen van alle relevante teksten in de test. Generaliseerbaarheid

refereert naar het feit dat van de uitkomsten van de test verwacht wordt dat iets te

zeggen over leesvaardigheid op alle relevante teksten. Inhoudsvaliditeit is van belang

omdat de inhoud van een test is gebaseerd op een subjectieve inschatting van relevantie

en geschiktheid (Drenth & Sijtsma, 1990).

Onderzoek naar inhoudsvaliditeit

Methodes die gebruikt worden om inhoudsvaliditeit te onderzoeken maken vaak gebruik

van de beoordeling van experts om de relatie tussen de test en het domein te bepalen

(AERA et al. 1985: 10). De mening van deze experts kan ook gebruikt worden bij de

ontwikkeling van een test door hen te vragen het domein te specificeren en test-items te

selecteren of genereren. Op deze manier kunnen zij zowel bij de ontwikkeling als de

beoordeling van de test betrokken worden. (AERA et al., 1985: 11). Door Weir (2005)

wordt dit respectievelijk ‘A Priori’ en ‘A Posteriori’ validiteitbewijs genoemd. In het

geval van dit onderzoek zijn de respondenten niet betrokken bij de ontwikkeling van de

test omdat deze al ontwikkeld is.

Verscheidene studies hebben onderzoek gedaan naar het oordeel van docenten in

relatie tot externe factoren (Cummings et al., 2004). Meisel et al. (2001) hebben

onderzoek gedaan naar de relatie tussen het oordeel van docenten over taalvaardigheid

bij peuters en een gestandaardiseerde test. Daarbij correleerde het oordeel van docenten

sterk met de uitkomsten van de test, hadden zij een sterke voorspellende waarde van

toekomstige prestaties en maakte goed onderscheid tussen risico en niet-risico

leerlingen. Er is dus enige theoretische ondersteuning voor het expertise van docenten in

dit opzicht.

Aspecten van inhoudsvaliditeit

Alderson (2000) werkt uit dat leesvaardigheid onderhevig is aan twee aspecten: lezer en

tekst variabelen. Hij onderkent dat het onderscheid tussen de twee niet zo helder is als

wenselijk zou zijn. Achtergrondkennis, kennis van het onderwerp, culturele kennis,

12

taalkennis en leesvaardigheid zijn variabelen van lezers die van invloed zijn kunnen.

Variabelen van de tekst die van invloed kunnen zijn, zijn bijvoorbeeld teksttype, genre,

onderwerp en structuur. Alderson geeft ook aan dat veel onderzoek is gericht op de

tweede van deze aspecten, en dat de verschillen en invloeden op lezeraspecten minder

vaak meegenomen worden in onderzoek. Deze factoren zijn dus van belang bij het

selecteren van geschikte teksten, passend bij de lezer.

Naast aspecten die van belang zijn voor de geschiktheid van een tekst noemt

Alderson ook factoren die van invloed zijn op de moeilijkheid. Hierbij zijn zowel de

vragen als de teksten even belangrijk De moeilijkheid hangt ook af van de relatie tussen

de vragen en de tekst. Verschillende karakteristieken van vragen zijn, ook in interactie

met elkaar, van invloed op de moeilijkheid. Het taalgebruik in de vraag, type informatie

dat gevraagd wordt, of een vraag impliciete of expliciete informatie vraagt en type vraag

zijn allen van invloed. Hetzelfde geldt voor karakteristieken van de tekst, zoals

onderwerp, tekstlengte, structuur, taalgebruik et cetera.

In onderzoek naar de geschiktheid van teksten zullen dus zowel lezer variabelen

als tekst variabelen beschouwd moeten worden. Daarbij zijn bij de tekst variabelen

zowel de tekst zelf als de vragen van belang.

Indruksvaliditeit

Burns (1995) werkt uit dat inhoudsvaliditeit en indrukvaliditeit voortdurend tegen elkaar

worden afgezet. Hij citeert Anastasi (1998) die opmerkt:

“Content validity should not be confused with face validity. The latter is not validity in the technical sense; it refers, not to what the test actually measures, but to what it appears superficially to measure. Face validity pertains to whether the test "looks valid" to the examinees who take it. the administrative personnel who decide on its use, and other technically untrained observers”

(Anastasi, 1988: 144) Indruksvaliditeit (face validity) is een term die is afgeschreven door veel test afnemers

en ontwikkelaars in onderwijsonderzoek (Bachman & Palmer, 1996: 42). Bachman

(1990: 285) beschrijft deze vorm van validiteit zelfs als ‘post mortem’ en noemt het

tekenend dat hij er nog zoveel aandacht aan besteed in zijn boek. De term

indruksvaliditeit heeft te maken met de vraag of een test de indruk geeft valide te zijn.

Met andere woorden, ziet de test er uit alsof hij meet wat hij moet meten? Spreek hij

degene die de test moet doen aan? Het zal duidelijk zijn dat indruksvaliditeit wel van

13

belang is bij het ontwikkelen en ontwerpen van een test, hij zal degene die de test maakt

immers wel moeten aanspreken. Het is echter niet zo dat indruksvaliditeit enige garantie

geeft over de resultaten van de test. Zoals Bryman (2004: 73) opmerkt is

indruksvaliditeit een intuïtief vraagstuk. Indruksvaliditeit is dus wel van belang omdat

het kan bijdragen aan hoe duidelijk de test is voor degene die hem doet.

In dit onderzoek wordt de indruksvaliditeit indirect onderzocht omdat deze

betrekking heeft op een aantal inhoudelijke aspecten als lay-out en structuur. Vanwege

de lage wetenschappelijke waarde die aan indruksvaliditeit gehecht wordt is deze echter

niet onderwerp van het onderzoek.

6. Onderzoeksvragen

Gezien de eerdere discussie dat ander onderzoek ondersteunt dat docenten als expert

gezien kunnen worden op het voorspellen van resultaten van hun leerlingen is dit

onderzoek op hen gericht. Omdat het onderzoek gericht is om de inhoudsvaliditeit te

onderzoeken leidt dat tot de volgende vraagstelling:

Zijn de leesvaardigheidstesten van de SALSA-toets een valide meetinstrumtent in

de ogen van VMBO-docenten Nederlands?

Aan de hand van de discussie omtrent verschillende aspecten van inhoudsvaliditeit

kunnen een viertal deelvragen geformuleerd worden. Twee hiervan zijn gericht op de

geschiktheid van de toets, twee op de moeilijkheid. Hierbij zal duidelijk zijn dat er

natuurlijk sprake zal zijn van enig overlap. Deelvraag 1 is gericht op de geschiktheid

van de teksten op basis van relevante lezervariabelen. Deelvraag 3 is gericht op de

geschiktheid van de teksten op basis van relevante tekstvariabelen.

Deelvraag 2 en 4 zijn gericht op de moeilijkheid van de tekst. Zoals door

opgemerkt zijn hierbij de moeilijkheid van vragen en teksten even belangrijk. Deze

worden dan ook beide onderzocht. Dit alles leid tot de volgende formuleringen van de

deelvragen:

1) Vinden de docenten de vragen een goede weerspiegeling van de relevante

vaardigheden?

14

2) Vinden de docenten de vragen van een gepast niveau?

3) Vinden de docenten de teksten relevant voor de leerlingen?

4) Vinden de docenten de teksten van een gepast niveau?

 

 

7. Methode

Onderzoeksgroep

Het doel van deze studie is om een beoordeling te geven van de inhoudelijke validiteit

van de SALSA-leestoets. Om dat doel te bereiken is ervoor gekozen experts te

raadplegen, van wie mag worden aangenomen dat die de relatie tussen de toets en haar

domein kunnen benoemen (AERA et al. 1985: 10). Omdat zo’n beoordeling tot stand

komt op basis van percepties en ervaringen is gekozen voor een kwalitatieve

onderzoeksmethodiek waarmee een genuanceerd beeld kan worden verkregen van

kennis en oordelen van informanten. Aangezien het SALSA-project zich richt op

VMBO-leerlingen uit de basis- en kaderberoepsgerichte leerwegen in de context van het

vak Nederlands, waarin verondersteld mag worden dat begrijpend lezen een belangrijk

onderdeel vormt van het lesprogramma, zijn experts gezocht die zich zo dicht mogelijk

bij deze werkelijkheid bevinden. Daarom is gekozen voor VMBO docenten Nederlands

die lesgeven in de basis- en kaderberoepsgerichte leerwegen aangezien zij naast

ervaring met begrijpend lezen vaardigheden tevens ervaring hebben met de doelgroep.

Zodoende zijn de onderzoeksdata verzameld bij 9 docenten Nederlands die werkzaam

zijn in de basis- en kaderberoepsgerichte leerwegen van het VMBO, dat is een aantal

dat gezien de kwalitatieve aard van het onderzoek aan de eisen voldoet.

De keuze voor de bevraging van ‘praktijkexperts’ sluit overigens aan bij de

toenemende aandacht vanuit de onderwijskunde voor praktijkkennis (Calderhead, 1996,

in Meijer e.a. 1999). Deze praktische kennis (Fenstermacher, 1994) is verschillend van

theoretische of formele kennis zoals zij door onderzoekers of toetsontwikkelaars wordt

geconstrueerd. Praktische kennis wordt immers middels processen van subjectieve

ervaringen en reflectie hierop vormgegeven (Fenstermacher, 1994). In het licht van het

analyseren van de inhoudsvaliditeit van de toets zien de onderzoekers een belangrijk

toetsende functie weggelegd voor de deskundige kennis van docenten in vergelijking

met de formele theoretische kennis van toetsontwikkelaars.

15

Werving

De docenten zijn voor het merendeel geworven in middelgrote tot grote steden in het

westen van Nederland (Randstad) in de periode van december 2008 – februari 2009. Het

criterium hierbij was scholen te benaderen met een gemengde leerlingenpopulatie

binnen een meertalige context. Hiermee is getracht aan te sluiten bij de populatie

waarover het SALSA-project uitspraken wil doen, namelijk een- en meertalige

leerlingen die onderwijs volgen in een meertalige context.

Vanwege dit criterium alsook praktische omstandigheden is in eerste instantie

gestart met de werving van docenten in de omgeving van Amsterdam. Door contact te

zoeken met scholen die al in eerdere fase medewerking hadden verleend aan het

SALSA-project is geprobeerd voldoende deelnemers voor het onderzoek te verkrijgen.

De scholen zijn zowel telefonisch als per e-mail benaderd waarbij is gevraagd om de e-

mail adressen van de Nederlands docenten die lesgeven aan het VMBO. In een aantal

gevallen zijn deze e-mail adressen verkregen via de sectievoorzitters Nederlands aan de

desbetreffende school, die tevens per e-mail zijn benaderd.

Omdat deze strategie niet het gewenste aantal deelnemers tot gevolg heeft gehad

is via de digitale vakgemeenschap voor docenten Nederlands bestaande uit 5000 leden

maar ook middels e-mails aan scholen waarbij gebruik is gemaakt van schoollijsten de

werving voortgezet. Dit heeft automatisch tot gevolg gehad dat het bereik zich in

principe uitbreidde tot heel Nederland. Gestreefd is echter wel docenten te selecteren

die werkzaam zijn op een school die binnen de omgeving van de Randstad valt. In totaal

zijn een dertigtal docenten digitaal benaderd wat heeft geresulteerd in vijf positieve

reacties vanuit de digitale vakgemeenschap en vier positieve reacties en hiermee

samengaande deelnamen aan het onderzoek via e-mails aan scholen die nog niet bekend

waren met het SALSA-project. Na het definitieve jawoord van de docenten is er een

afspraak gemaakt voor het interview en is de envelop met de SALSA-leestoets en

bijbehorende instructies (zie verderop voor toelichting) naar hen toegestuurd.

Hoewel de onderzoekers vanwege het bovengenoemde criterium van praktische

deskundige kennis streefden naar een minimale docentervaring van drie jaren moest hier

gezien praktische omstandigheden flexibeler mee worden omgesprongen. De

uiteindelijke onderzoeksgroep varieert wat deze variabele betreft zodoende tussen de

anderhalf en twintig jaren ervaring. Met dit gegeven wordt rekening gehouden bij de

interpretatie van de resultaten. Hieronder bevindt zich een tabel (2) met de

beschrijvingen van de informanten.

16

Tabel 2: individuele informantenbeschrijvingstabel. Initialen Jaren ervaring in het onderwijs Jaren ervaring als docent Nederlands aan het VMBO AS 24 jaar 3,5 jaar BW 13 jaar 13 jaar KT 14 jaar 7 jaar MK onbekend 1 jaar MZ 15 jaar 3 jaar NM 10 jaar 8 jaar SC onbekend 1 jaar TF 27 jaar 7 jaar VP 33 jaar 9 jaar Instrumentarium

In dit onderzoek werd docenten gevraagd, op basis van hun eigen percepties en

ervaringen, een oordeel te geven over het leesgedeelte van de SALSA-toets. Daarom is

gekozen voor het afnemen van gestructureerde open interviews, een conceptmap

opdracht en een vragenlijst; de laatste twee instrumenten moesten vooraf worden

ingevuld, maar zijn tijdens het interview doorgenomen. De docenten werd gevraagd

zich hierop voor te bereiden door hen enkele weken, variërend van twee tot vier, voor

aanvang van dit gesprek enkele inleidende documenten toe te sturen met instructies over

de procedure alsook de te beoordelen SALSA toets. Deze envelop met documenten

bestond uit een inleidende instructie, een interviewleidraad, een conceptmap, de

SALSA-leestoets met het bijbehorende antwoordenvel en een kleine vragenlijst. De

verwachting was dat een combinatie van deze drie instrumenten zou zorgen voor een

completer beeld van de oordelen van docenten over de SALSA toets.

Gestructureerd open interview

Een gestructureerd open interview is een instrument om een genuanceerd beeld te

krijgen van kennis en oordelen van informanten, en de achtergronden van die kennis en

motivaties voor die oordelen (Gudmundsdottir, 1996 & Hoyle, 2001). Het interview is

in die zin gestructureerd vanwege haar doelgerichte vraagstelling rondom vooraf

bepaalde aspecten. Het open karakter blijft echter gehandhaafd doordat er geen

antwoorden door de onderzoekers zijn voorgeformuleerd zodat er tevens enerzijds voor

de informanten de ruimte bestond om rondom de hoofdvragen andere zaken naar voren

te brengen en het anderzijds de onderzoekers de mogelijkheid bood door te vragen op de

gegeven informatie van de informanten. Voor het interview werd gebruik gemaakt van

17

een interviewleidraad die van tevoren naar de docenten werd gestuurd. Dat laatste had

tot doel de aandacht van de docenten bij het bekijken van de toets op bepaalde aspecten

te richten. De onderdelen van die leidraad lopen parallel met de onderzoeksvragen en

laten zich als volgt samenvatten.

Het eerste onderdeel heeft betrekking op de eerste onderzoeksvraag omtrent de

relevantie van de in de toets gemeten begrijpend lezen vaardigheden. Hierbij was het

doel het kenniskader ten aanzien van begrijpend lezen waar vanuit docenten redeneren

bloot te leggen. Docenten werd gevraagd het type vaardigheden te benoemen die zij –

geredeneerd vanuit het type leerlingen waaraan ze les geven – relevant vinden in relatie

tot het begrip begrijpend lezen. Tevens werd gevraagd naar de wijze waarop de

vaardigheid in begrijpend lezen volgens hen gemeten zou moeten worden. Om de

interviews die zijn afgenomen geen sturend karakter aan te laten nemen, hebben de

afnemers ervoor gekozen de docenten niet vooraf te informeren over de precieze

vaardigheden waarop het ontwerp van de SALSA-toets gebaseerd is. Vervolgens werd

gevraagd of de docenten de vragen een goede weerspiegeling vinden van de door hen

genoemde relevante vaardigheden.

Het tweede en derde onderdeel van de leidraad werd ingeleid met een tweetal

vragen die betrekking hebben op de moeilijkheidsgraad van enerzijds de vragen en

anderzijds de teksten van de SALSA-leestoets. Zij vormen de kern voor

achtereenvolgens de tweede en derde onderzoeksvraag. Tot slot werd gevraagd naar de

relevantie van de teksten in de SALSA-leestoets wat betreft medium, onderwerp en

teksttype. Dit komt overeen met de vierde en laatste onderzoeksvraag.

Vervolgens werd de docenten gevraagd om de SALSA-leestoets te doorlopen en

aan de hand van de hierboven beschreven interviewagenda een oordeel te vormen over

de toets. De docenten waren hierbij vrij om aantekeningen te maken op de toets. Om de

docenten een beter beeld te geven over de constructie van de toets hebben de

onderzoekers tevens het antwoordenvel van de toets meegestuurd.

Conceptmap

Tevens werd de docenten verzocht om een conceptmap te maken betreffende het begrip

‘begrijpend lezen’. Dit vormt het tweede instrument. Conceptmapping is een techniek

voor het vastleggen en grafisch representeren van concepten en hun hiërarchische

relaties (Markham, Mintzes & Jones, 1994). Het doel van het maken van een

conceptmap is te komen tot een zo precies mogelijke beschrijving van een algemeen

18

begrip, zoals in dit geval begrijpend lezen. In een conceptmap kan zo’n algemeen begrip

worden onderverdeeld in een aantal deelbegrippen waarna relaties tussen begrippen

kunnen worden aangegeven.

Ter ondersteuning bij het maken van de conceptmap is een conceptmap van het

begrip ‘schrijfvaardigheid’ toegevoegd. De conceptmap van ‘schrijfvaardigheid’ ( zie

bijlage 4. ) is door de onderzoekers gemaakt aan de hand van een omschrijving van

schrijfvaardigheid gegeven door het OECD (2000). Het maken van deze concept-map

zorgt ervoor dat docenten goed kunnen nadenken over wat zij denken dat het begrip

begrijpen lezen inhoudt en zorgt voor een overzichtelijke weergave van dit begrip. In dit

licht moet het maken en het tijdens het interview beargumenteren van deze conceptmap

dienen ter ondersteuning van de beantwoording van de eerste deelvraag. Tevens kan de

conceptmap fungeren als geheugensteuntje voor de docent tijdens het interview.

Vragenlijst

Na het doorlopen van de SALSA-toets werden de docenten gevraagd om tweemaal een

vijftal gesloten vragen op een vijfpunts likertschaal in te vullen ( Zie Bijlage 6. ). Het

betrof hier tweemaal dezelfde vijf vragen waarbij een set gericht was op het eerste

leerjaar van het VMBO en de tweede set gericht was op het derde leerjaar van het

VMBO. Gezien het feit dat de SALSA-leestoets is ontwikkeld voor afname in het eerste

tot en met derde leerjaar VMBO willen de onderzoekers aan de hand van deze vragen

kijken naar de verschillen in de boordeling wanneer er door de docent een ander leerjaar

in gedachte wordt genomen. De vragen vormen een algemene aanvulling en controle op

de in de interviewleidraad gestelde aspecten over de gehele SALSA-leestoets.

Achtereenvolgens worden de moeilijkheidsgraad van de vragen en teksten van de

SALSA-leestoets en de relevantie van de media, onderwerpen en teksttypen bevraagd.

Data-analyse

Het uiteindelijk verkregen databestand bestond uit negen interviewtranscripten, negen

conceptmappen en negen ingevulde vragenlijsten. In deze sectie beschrijven de

onderzoekers de manier waarop deze data zijn verwerkt en geanalyseerd. De analyse

van de data is verder opgedeeld in twee delen: Het eerste deel heeft betrekking op de

wijze waarop de docenten het concept begrijpend lezen hebben gedefinieerd, het tweede

op de feitelijke beoordeling van de toets op de eerder genoemde aspecten.

19

Voor de analyse van de vaardigheiden zijn de interviewresultaten en de

conceptmappen in aanvulling op elkaar gebruikt. Het was hierbij de hoofdzaak te

komen tot het destilleren van algemene observaties over de voor de docent(en)

noodzakelijke vaardigheden die leerlingen moeten beschikken ten aanzien van het

begrijpend lezen. Hiertoe zijn de interviewgegevens letterlijk uitgetypt waarna relevante

passages die betrekking hadden op begrijpend lezen vaardigheden gemarkeerd konden

worden. Aan de hand hiervan zijn vaardigheden opgesomd, waardoor ze in het volgende

stadium intersubjectief door de onderzoekers gecategoriseerd konden worden. Tot slot

worden overeenkomstige vaardigheden geturfd. Zodoende wordt het voor de

onderzoekers mogelijk een vergelijking te maken tussen de vaardigheden die docenten

noemen en de vaardigheden zoals die gedefinieerd zijn in het kader van de Salsa-toets.

Hoewel de docenten werd gevraagd hun antwoorden te formuleren in termen van

vaardigheden, gebeurde dat niet altijd. In deze gevallen zijn de vaardigheden die

schuilgaan achter deze acties, indien te verantwoorden, afgeleid.

Voor de analyse van de boordeling van de SALSA-leestoets zijn de

interviewresultaten in combinatie met de vragenlijsten gebruikt. Op basis van de

vragenlijsten kon een globale beantwoording van de onderzoeksvragen over de SALSA-

leestoets in zijn geheel worden gegeven. Daarom vormen zij het uitgangspunt voor de

rapportage van de resultaten. Met de interviewgegevens wordt de informatie uit de

vragenlijsten genuanceerd en aangevuld. Evenals de interviewgegevens ten aanzien van

de vaardigheidsverwachtingen worden de gegevens bewerkt door markering van

relevante passages. Hieruit worden algemene motieven gedestilleerd waarna de

onderzoekers intersubjectief algemene categorieën formuleren. Tot slot worden

wederom overeenkomstige motieven gekwantificeerd en worden illustratieve citaten uit

de interviews geselecteerd. 

8. Resultaten

In dit onderdeel, waarin de resultaten van dit onderzoek staan beschreven, wordt een

tweedeling gemaakt tussen de conceptualisering van begrijpend lezen en de boordeling

van de SALSA-toets door de geïnterviewde docenten. De conceptualisering van

begrijpend lezen betreft wat de docenten onder begrijpend lezen verstaan en welke

vaardigheden hier precies onder vallen. De boordeling van de SALSA-toets is

20

onderverdeeld in geschiktheid van de vragen, teksten, media, onderwerpen en

teksttypen.

9. Vaardigheden begrijpend lezen

In figuur 1 staat een overzicht van de toegekende labels. Achter elk label staat hoeveel

docenten deze vaardigheid, en activiteiten die verwijzen naar desbetreffende

vaardigheid, hebben genoemd. De vaardigheden staan op volgorde van meest genoemd

naar minst genoemd. Het laatste label is geen specifieke vaardigheid, maar is een

categorie waarin de overige opmerkingen die niet onder de andere vaardigheden waren

te plaatsen en toch waren genoemd door de docenten een plek hebben gekregen. Zo is er

tijdens het transcriberen van de interviews gebleken dat 1 docent “luisteren” had

genoemd op de vraag welke vaardigheden de docent onder begrijpend lezen verstond,

zonder verder toe te lichten wat hij daarmee bedoelde.

21

Figuur 1. vaardigheden die onder begrijpend lezen vallen.

Doorgronden van de globale lijn van een tekst (9 uit 9)

Kennis van of omgaan met moeilijke woorden en uitdrukkingen (8 uit 9)

Doorzien van zins- en tekstverbanden (8 uit 9)

Activeren van voorkennis die bijdraagt aan het begripsproces (6 uit 9)

Toepassen van de juiste leesstrategie (5 uit 9)

Evalueren van teksten (3 uit 9)

Lokaliseren van informatie in een tekst (2 uit 9)

Overige genoemde acties en vaardigheden (5 uit 9)

Hieronder wordt verder toegelicht wat de docenten precies onder deze vaardigheden

verstaan.

Doorgronden van de globale lijn van een tekst

Zoals is af te lezen is in figuur 1 hebben alle 9 docenten verwezen naar het doorgronden

van de globale lijn van een tekst. Zij noemden bijvoorbeeld dat leerlingen een tekst

globaal moeten kunnen bekijken, het onderwerp en de hoofdgedachte eruit moeten

kunnen halen, de grote lijnen van het verhaal moeten kunnen zien, inzicht moeten

hebben in de structuur en de tekstsoort moeten kunnen herkennen of zichzelf moeten

afvragen: “wat staat er nou in de tekst?”. Hiernaast is het achterhalen van de bedoeling

en gedachtegang van de auteur genoemd en waren er docenten die verwezen naar het

onderscheid maken tussen hoofd- en bijzaken in een tekst.

Aanvullend hebben zij bepaalde activiteiten genoemd die leerlingen kunnen

uitvoeren om die globale lijn te doorgronden. Zo kan het doel van een tekst worden

achterhaald door middel van het kijken naar de buitenkant, lay-out, titel, tussenkopjes,

alinea-indeling, titel, bronnen, afbeeldingen in een tekst. Ook het stellen van

interpretatievragen als “wat denk je dat er gaat gebeuren?”en het raden van hetgeen wat

in de tekst staat en voorspellend lezen kunnen volgens de docenten hieraan bijdragen.

Als laatst is er door 2 docenten de term ‘samenvatten’ genoemd. Met het

samenvatten van een tekst wordt door de docenten bedoeld dat leerlingen de essentie

van de tekst moeten kunnen reproduceren. Hierbij moet de kanttekening worden

geplaatst dat dit in principe een activiteit is die na het leze van een tekst plaatsvindt en

bovendien een ander vaardigheidsdomein betreft, namelijk schrijven.

Kennis van of omgaan met moeilijke woorden en uitdrukkingen

22

Het kennis hebben van of omgaan met moeilijke woorden en uitdrukkingen is door 8

van de 9 docenten genoemd en is daarmee de op één na meest genoemde vaardigheid

die volgens de docenten valt onder begrijpend lezen. Alle 8 de docenten hebben

gerefereerd aan deze vaardigheid door te zeggen dat leerlingen beroep doen op hun

woordenschat wanneer zij teksten lezen.

Dit algemene concept werd op verschillende manier beschreven. Er werden

omschrijvingen gebruikt als: het kunnen afleiden van de betekenis van onbekende, lange,

moeilijke woorden uit de context, of het kunnen omgaan met indirect of idiomatisch

taalgebruik

Doorzien van zins- en tekstverbanden

Van de 9 geïnterviewde docenten hebben er 6 vaardigheden en acties genoemd die te

categoriseren zijn onder de vaardigheid: het doorzien van zins- en tekstverbanden.

Hieronder werd het kunnen inzien van zinsbouw verstaan als het leggen van verbanden

en relaties tussen teksten en tekstgedeelten. Functioneel voor deze vaardigheid zijn

activiteiten als het opzoeken en herkennen van signaal en verwijswoorden en het

analyseren van oorzaken en gevolgen.

Het activeren van voorkennis die bijdraagt aan het begripsproces

Deze vaardigheid is, net als de voorgaande vaardigheid, door 6 docenten genoemd. Er

wordt mee bedoeld dat het begrijpen van een tekst bestaat uit het in verband brengen

van ‘datgene wat je leest’ met ‘datgene wat er al in je hoofd zit’. Een docent noemde in

dit verband “iets over de inhoud van de tekst al weten”. Illustratief hiervoor is het

volgende citaat:

“Dus die voorkennis is belangrijk, wat weet je zelf al van het onderwerp. Want zeg ik dan altijd als je de tekst gaat bekijken, want ik wil nog steeds niet dat je de tekst leest, dan krijg je toch hier en daar een “aha” van oja, dat wist ik al, en dat helpt.”

Aanvullend zijn er door docenten activiteiten genoemd die hieraan kunnen bijdragen

zoals jezelf identificeren met het onderwerp, en kijken naar de plaatjes bij een tekst

waarbij de leerling zichzelf afvraagt of hij of zij al iets weet van het onderwerp.

Het kunnen toepassen van de juiste leesstrategie

23

Zoals te zien is in figuur 1 zijn 5 docenten van mening dat leerlingen ook juiste

leesstrategieën moeten kunnen toepassen. De docenten gaven hier uiteenlopende

toelichtingen op. Zo werd door één docent hieronder verstaan, de manier waarop de

leerling te werk gaat wanneer deze een tekst begint te lezen. Zo kan een leerling

stapsgewijs te werk gaan en eerst de voorkennis te activeren, dan de tekst globaal

bekijken om het onderwerp eruit te halen en vervolgens de betekenis van moeilijke

woorden achterhalen. Een andere docent verstond onder het toepassen van de

leesstrategieën het volgen van de juiste stappen om de vragen bij de tekst te

beantwoorden en informatie te lokaliseren. Een derde docent gaf weer een andere

uitgebreide toelichting. Hieronder staat een citaat van deze docent waarin drie

leesstrategieën worden genoemd, te weten: globaal, studerend en kritisch/beoordelend

lezen.

“Je moet ook redelijk kunnen technisch lezen, anders valt er van het hele globale lezen weinig te maken. En dat technisch lezen is altijd weer een middel om te komen tot studerend lezen. En het studerend lezen gebruik je echt om informatie te achterhalen. En de laatste stap dat is het kritisch lezen, of het beoordelend lezen, de hoogste vorm. Dat is eigenlijk hetzelfde verhaal, in de onderbouw wat minder maar hoe hoger je komt hoe meer dat een rol moet gaan spelen”.

Het in het citaat genoemde technische lezen valt overigens niet onder leesstrategieën

maar kan gezien worden als een voorwaarde voor begrijpend lezen.

Evalueren van teksten

Volgens 3 docenten moeten leerlingen van het VMBO nadat zij een tekst hebben

gelezen, deze kunnen evalueren. Hieronder werd ondermeer dat de leerlingen de waarde

van een tekst kunnen bepalen verstaan.

Daartoe kan een leerling zichzelf na het lezen van een tekst allereerst afvragen:

“Wat heb ik aan de tekst gehad en wat betekent zij voor mij?”. Nadat een tekst is

gelezen zou de leerling de inhoud van deze tekst moeten kunnen terugkoppelen naar de

oriëntatiefase van het lezen van de tekst. Hierbij kunnen de leerlingen zichzelf het

volgende afvragen: “Maakt de schrijver waar wat hij of zij zegt?” en “kloppen de

beweringen van de auteur?”. Wanneer een tekst geëvalueerd wordt kan volgens een

docent de leerling vervolgens een eigen mening gaan vormen over de tekst. Enerzijds is

het vormen van een eigen mening geen deelvaardigheid van begrijpend lezen en kan het

gezien worden als een resultaat van het evalueren van een tekst. Anderzijds komt deze

vaardigheid wel aanbod in toetsen naar leesbegripsvaardigheden zoals PISA, waarbij

24

naar de mening van leerlingen waarbij de leerlingen ook bijpassende argumenten

moeten geven.

Lokaliseren van informatie in een tekst

Twee docenten refereerden aan de vaardigheid van het lokaliseren van informatie in een

tekst. 1 docent verstond hieronder dat een leerling weet waar bepaalde informatie in een

tekst staat en deze ook kan opzoeken. De andere docent refereerde hiernaar door te

stellen dat leerlingen zichzelf een zoekopdracht moeten kunnen geven en deze moeten

kunnen uitvoeren.

Functioneel voor deze vaardigheid is bijvoorbeeld het kijken naar de eerste en

laatste zin van alinea’s, om op deze wijze sneller de locatie van informatie in een tekst

te kunnen achterhalen.

Overige genoemde acties en vaardigheden

Naast de eerder genoemde vaardigheden en acties noemden in totaal 5 docenten acties

en vaardigheden die niet onder deze labels te plaatsen zijn. Zo verwezen 2 docenten

naar het doorgronden van detailinformatie in een tekst door bijvoorbeeld te stellen dat

leerlingen een tekst nauwkeurig moeten kunnen lezen. Omdat deze laatste activiteit in

de interviews en in de conceptmaps niet verder is toegelicht is deze vaardigheid in de

overige categorie geplaatst.

Ditzelfde geldt voor twee docenten die van mening waren dat de vaardigheid in

het begrijpend lezen voor een deel bestaat uit ‘taalgevoel’. De ene docent lichtte dit

nader toe aan de hand van een voorbeeld. Hij gaf aan dat leerlingen een gevoel voor de

taal moeten hebben om de werkelijke essentie van een woord tussen aanhalingstekens in

tekstverband te begrijpen. Omdat de andere docent geen verder uitleg gaf, is niet

duidelijk of beiden naar exact hetzelfde construct verwijzen.

Verder zijn er door de docenten drie acties en vaardigheden genoemd waarvan

voor de onderzoekers onduidelijk is wat ze er exact mee bedoelden en aan welke

vaardigheid hiermee werd gerefereerd, te weten: onthouden, luisteren en identificatie

met het taalgebruik. Het zijn termen die tijdens de interviews wel genoemd zijn, maar

niet verder toegelicht zijn in het verdere verloop hiervan.

Tot slot waren er twee docenten die het vergaren van kennis als deelvaardigheid

noemden. Echter, het vergaren van kennis kan gezien worden als een uitkomst van het

leesproces en niet als een vaardigheid is die onder begrijpend lezen valt.

25

10. Beoordeling SALSA-toets

Vervolgens is de docenten gevraagd hun mening te geven over een aantal aspecten van

de SALSA-toets. Daarbij is allereerst het onderscheid gemaakt tussen de geschiktheid

van de vragen en de teksten. Bij de vragen werd geïnformeerd in hoeverre die van een

gepaste moeilijkheid waren. Bij de teksten is naast de moeilijkheid gevraagd naar

geschiktheid van de media, onderwerpen en teksttypen. Hieronder zal per punt van

aandacht beschreven worden welke antwoorden dit van docenten opleverde. Daarbij zal

eerst per aspect het resultaat van de gesloten vragen gegeven worden om een globale

indruk te geven van de beoordeling. Daarna zal beschreven worden welke motieven

docenten bij het bespreken van de toets noemden. Deze motieven zullen geïllustreerd

worden aan de hand van citaten uit de interviews. Omdat de citaten en de motieven vaak

refereren aan bepaalde teksten en vragen uit de SALSA-toets zal vermeld worden om

welke teksten en vragen het gaat. De volledige SALSA-toets is te vinden in Bijlage 1.

Vragen

De eerste vraag van de vragenlijst was gericht op de geschiktheid van de vragen in de

SALSA-toets wat betreft moeilijkheidsgraad. Dat leverde de volgende resultaten op:

Figuur 2: resultaten vragenlijst over moeilijkheidsgraad van de vragen Is de moeilijkheidsgraad van de vragen passend voor het 1e leerjaar? De vragen zijn over het algemeen te moeilijk

Sommige vragen zijn te moeilijk

De vragen zijn over het algemeen van een gepaste moeilijkheid

Sommige vragen zijn te makkelijk

De vragen zijn over het algemeen te makkelijk

(4) (SC, VP, MK, AS)

(2) (NM, MZ) (1) (BW)

Is de moeilijkheidsgraad van de vragen passend voor het 3e leerjaar? De vragen zijn over het algemeen te moeilijk

Sommige vragen zijn te moeilijk

De vragen zijn over het algemeen van een gepaste moeilijkheid

Sommige vragen zijn te makkelijk

De vragen zijn over het algemeen te makkelijk

(5) (SC, TF, KT, MK, MZ)

(2) (NM, AS) (1) (BW)

Hieruit komt het beeld naar voren dat de docenten de vragen over het algemeen geschikt

vinden voor het derde leerjaar en drie docenten vinden ze zelf aan de makkelijke kant.

Voor het eerste leerjaar vinden ze sommige vragen te moeilijk, hoewel drie docenten de

vragen niet te moeilijk vinden. De motieven zijn onder te verdelen in motieven die

aangeven dat de vragen geschikt zijn en motieven die aangeven dat de vragen

26

ongeschikt zijn. Voor alle motieven geldt tevens dat zij kunnen worden onderverdeeld

in motieven die betrekking hebben op vaardigheden die van leerlingen verwacht worden

en motieven die betrekking hebben op de formulering van de vragen.

Drie docenten noemden motieven die aangeven dat de vragen geschikt zijn. De

eerste categorie motieven betreft vaardigheden die van leerlingen worden verwacht bij

het beantwoorden van de vragen. In dit kader noemt een docent dat het goed is dat

leerlingen tussen de regels moeten lezen om het antwoord te weten te komen. Ook

noemt hij dat het goed is dat leerlingen niet alleen moeten reproduceren, hij noemt ook

dat leerlingen basale reproductievragen moeten beheersen omdat bepaalde technische

vaardigheden “een beetje moeten inslijpen”. Een andere docent noemt dat het goed is

dat leerlingen worden gevraagd de hoofdgedachte uit de tekst te halen. Zij noemt ook

dat het goed is dat leerlingen details uit de tekst moeten halen. Daarnaast vindt zij het

ook goed dat leerlingen verwijzingen moeten doorzien. De tweede categorie omvat

factoren met betrekking tot de vraagstelling die van invloed zijn. Zo werd gezegd dat bij

een duidelijke vraagstelling, de leerling weet waar hij naar op zoek moet gaan in de

tekst en de vraag beter beantwoord kan worden.

Ook de motieven die genoemd worden voor het niet geschikt zijn van een vraag

zijn in de twee eerder genoemde categorieën te plaatsen. 5 docenten noemen motieven

die gerelateerd zijn aan de transparantie van de formulering van de vragen. Één motief

wordt door twee docenten genoemd. Zij refereren allebei aan het taalgebruik in de

vraagstelling. Het gaat er hier om dat leerlingen niet bekend zijn met de wijze van

formuleren. Zo wordt bijvoorbeeld genoemd:

“Het woordgebruik viel me wel op. Bij deze vraag stelling. ‘wat zegt regel 6’. Dat nemen ze vaak heel erg letterlijk. Dan denken ze ‘wat bedoelt hij daar nou mee? Wat zegt?’. Dat snappen ze niet. Die vraagstelling gebruiken wij haast niet. ‘wat zegt’ is echt vaag. Misschien dat een derde klas het wel snapt. Ik zou zeggen ‘wat wordt er bedoeld met…’” (VP)

Ook een andere docent noemt dat de manier van vragen niet overeenkomt met het

stramien dat leerlingen in het leesonderwijs krijgen aangereikt. Zo wordt in de toets

gevraagd wat het doel van de fictieve tekst Koning Kostuum is. Hen is aangeleerd dat

een fictieve tekst als doel heeft om te amuseren, maar dit staat niet bij de

antwoordkeuzes. Een docent noemde dat het gebruik van moeilijke woorden in vragen

niet geschikt is. Hoewel deze docent erkent dat leerlingen hiermee om dienen te gaan, is

zij van mening dat dit in de vraagstelling juist vermeden dient te worden, “want als ze

27

de vraag niet snappen, dan kan je er al helemaal niet achter komen of ze de tekst wel of

niet snappen” (MZ). Ook moeilijke woorden in de zin waarin het antwoord staat is door

een docent als motief genoemd. Een docent vond een vraag waarin twee vragen gesteld

worden ongeschikt. Een andere docent gaf het volgende voorbeeld van vragen die voor

leerlingen te complex zijn: “Welke tekst geeft een voorbeeld van het dagelijks leven van

de Vietnamezen tijdens de Franse bezetting?”. Zij vond dat de vraag begrijpen op zich

al een beroep doet op de leesvaardigheid van leerlingen.

3 docenten gaven aan dat de beantwoording bemoeilijkt wordt door operaties en

vaardigheden die van leerlingen gevraagd worden. Een docent noemt dat een vraag over

het gebruik van aanhalingstekens ongeschikt is omdat dit in de les nog niet behandeld is.

Hiernaast noemde deze docent als motief dat het antwoord niet direct in de tekst te

vinden is. Een andere docent noemt dat leerlingen niet vaardig zijn in het herkennen van

het doel van een tekst of auteur. Ze zouden daardoor geneigd zijn het verkeerde

antwoord te kiezen. Ten slotte noemt één docent in relatie tot de teksten over Vietnam

dat leerlingen geen detailinformatie kunnen ophalen uit twee teksten. Dit zou in relatie

tot de spanningsboog van leerlingen teveel aandacht van leerlingen vragen. In alle

gevallen zijn het motieven die betrekking hebben op het oordeel over de

moeilijkheidsgraad van eerstejaars.

Teksten Bij het onderzoeken van de geschiktheid van teksten is allereerst de mening van de

docenten over de moeilijkheidsgraad van de teksten bevraagd. Hieronder staan de

antwoorden op de gesloten vragen over dit onderwerp samengevat.

28

Figuur 3: resultaten vragenlijst over moeilijkheidsgraad van de teksten Is de moeilijkheidsgraad van de teksten passend voor het 1e leerjaar? De teksten zijn over het algemeen te moeilijk

Sommige teksten zijn te moeilijk

De teksten zijn over het algemeen van een gepaste moeilijkheid

Sommige teksten zijn te makkelijk

De teksten zijn over het algemeen te makkelijk

(2) (MK, MZ) (3) (SC, VP, AS) (2) (BW, NM) Is de moeilijkheidsgraad van de teksten passend voor het 3e leerjaar? De teksten zijn over het algemeen te moeilijk

Sommige teksten zijn te moeilijk

De teksten zijn over het algemeen van een gepaste moeilijkheid

Sommige teksten zijn te makkelijk

De teksten zijn over het algemeen te makkelijk

(2) (MK, MZ) (6) (BW, NM, SC, TF, KT, AS)

Geen van de docenten vindt de teksten te makkelijk. Voor het eerste leerjaar ontstaat het

beeld dat een aantal teksten te moeilijk is, hoewel de docenten verschillen in het aantal

teksten dat ze te moeilijk vinden. Voor het derde leerjaar antwoorden de meeste

docenten dat de teksten van gepaste moeilijkheidsgraad zijn. Twee docenten vinden

sommige teksten ook voor het derde leerjaar nog te moeilijk.

De motieven die de docenten hierbij noemen lopen uiteen, maar een aantal

motieven wordt wel door meerdere docenten genoemd. Hieronder worden de

verschillende motieven uitgewerkt. Allereerst wordt gekeken naar motieven die

docenten noemen wanneer zij aangeven een tekst geschikt te vinden.

Hoewel de docenten diverse motieven noemen kunnen deze grofweg worden

ingedeeld in drie categorieën die voor zowel de geschiktheid als de ongeschiktheid van

teksten van toepassing zijn. De eerste categorie wordt gevormd door motieven over de

geschiktheid van de tekst als geheel. De tweede categorie heeft betrekking op factoren

waardoor de tekst begrijpelijk is voor leerlingen. De derde categorie betreft

vaardigheden die van leerlingen verwacht mogen worden bij het lezen van de tekst.

7 docenten noemen motieven over de geschiktheid van de tekst als geheel. Het

belang van een geschikt onderwerp wordt door zes docenten genoemd. Een geschikt

onderwerp kan op twee manieren bijdragen aan de geschiktheid van een tekst voor

leerlingen. Ten eerste zullen leerlingen een tekst sneller leuk vinden. Een docent merkte

in dit verband op dat een aansprekend verhaal beter begrepen wordt. Ten tweede zullen

ze het onderwerp en de inhoud van de tekst sneller herkennen. Wanneer leerlingen

bekend zijn met het onderwerp kunnen zij ook hun voorkennis activeren. Drie docenten

noemen dit expliciet als motivatie. Illustratief hiervoor is een opmerking van NM:

“Het is niet geschreven voor kinderen dat is duidelijk maar ik denk dat de kinderen dit wel kunnen begrijpen ook omdat zij hun voorkennis kunnen activeren en dat scheelt heel

29

veel. Als ze het kunnen plaatsen in een kader begrijpen ze teksten veel beter dan wanneer ze dit niet kunnen.”

Zes docenten noemden motieven die te plaatsen zijn in de tweede categorie; factoren

waardoor de tekst begrijpelijk is voor leerlingen. Vier docenten noemden de structuur

als motief voor het geschikt zijn van een tekst. Docenten gaven aan dit prettig te vinden

en dat het lezen voor leerlingen er makkelijker door wordt. Een docent gaf ook aan dat

de structuur van de tekst hielp bij het begrijpen van de tekst ondanks de moeilijke

woorden. Zoals docent KT aangeeft in relatie tot de tekst De Plank:

“Ook omdat het duidelijk in alinea’s staat. Dat zorg er ook voor dat leerlingen denken ‘ik hoef steeds maar een stukje te lezen’. Het is ook makkelijker terugzoeken in de tekst. Er zaten wel wat moeilijke woorden in, maar naar mijn idee, als de kinderen gewoon de tekst goed doorlezen, was de betekenis van die woorden wel uit de tekst te halen. Dat ze daar niet over zouden struikelen.”

Vier docenten refereren aan het voorkomen van moeilijke woorden in de tekst, maar

geven aan dat deze geen struikelblok vormen voor het begrijpen van de tekst. Een

docent noemde in relatie hiermee dat een inleiding op het onderwerp helpt de tekst te

begrijpen. In relatie tot de structuur wordt ook de lay-out van de tekst als factor

genoemd die van invloed is. Een aansprekende lay-out door bijvoorbeeld gebruik een

foto werd als stimulerende factor benoemd.

Ten slotte noemden twee docenten motieven die in de derde categorie in te delen

zijn; motieven over welke vaardigheden van leerlingen verwacht mogen worden bij het

lezen van een tekst. NM vindt dat de leerlingen goed in staat zijn om de verwijswoorden

te gebruiken. Dezelfde docente noemt dat een tekst op een juist niveau is omdat

leerlingen in staat zijn om de boodschap uit de tekst te halen. MZ noemt als motief dat

de teksten uit de toets leerlingen in het algemeen genoeg uitdagen om bewust

leesstrategieën toe te passen. Dat wordt duidelijk uit het volgende citaat:

“Ze moeten er moeite voor doen om het te snappen maar dat mag. Dat moet zelfs, anders dan leren ze niks. Het leren strategieën toe te passen hoef je niet bij teksten die je heel erg makkelijk vindt. Ik vind het daarom heel erg nodig dat teksten een beetje uitdagend zijn. Maar niet te moeilijk want dan beginnen ze er niet eens aan.”

Ook de motieven die docenten noemen voor het niet geschikt zijn van een tekst kunnen

worden ingedeeld volgens de corresponderende drie categorieën. De eerste categorie

wordt opgemaakt door motieven over de ongeschiktheid van de tekst als geheel. De

tweede categorie betreft motieven over factoren waardoor de tekst niet begrijpelijk is

30

voor leerlingen. De derde categorie bestaat uit motieven over welke vaardigheden niet

van leerlingen verwacht mogen worden bij het lezen van de tekst. De verscheidenheid

aan motieven is het grootst in de tweede categorie.

7 docenten noemen motieven over de ongeschiktheid van de tekst als geheel.

Ook hier wordt het onderwerp als belangrijke reden genoemd, vier docenten noemen dit.

MZ werkt uit dat het onderwerp van directe invloed is op de moeilijkheid van een tekst:

“Niet relevant, want heel moeilijk. Dat heeft te maken met het onderwerp, dat staat toch wel erg ver van de belevingswereld van kinderen af. Dat ze het ook niet zo interessant vinden.”

Vijf docenten noemen het gebrek aan voorkennis bij leerlingen als motief waarom ze de

tekst niet geschikt vinden. MK noemt in relatie tot de tekst over Vietnam:

“Voor mijn leerlingen een verschrikkelijk moeilijke tekst. Mijn leerlingen weten volgens mij nauwelijks iets over Vietnam en wat daar gebeurd is in die tijd. Ze weten misschien iets over koloniën maar dan misschien over Suriname. Dat zal het enige zijn. Ze weten van dit onderwerp zo weinig dat ze echt van die tekst volgens mij heel weinig begrijpen.”

Hierdoor wordt ook aannemelijk dat er een verband is tussen het onderwerp en de

voorkennis bij leerlingen. Deze relatie werd echter niet expliciet door docenten

benoemd en niet alle docenten noemden beide motieven.

Alle 9 docenten noemden motieven over factoren waardoor de tekst niet

begrijpelijk is voor leerlingen. De motieven die zij noemden zijn zeer verscheiden.

Moeilijk taalgebruik werd het meest genoemd. Zeven docenten noemen dit als motief.

Alle zeven refereren ze daarbij aan het gebruik van moeilijke woorden. Daarnaast

noemen twee van deze zeven docenten ook de aanwezigheid van complexe zinnen. Een

docent merkt op dat kinderen niet bekend zijn met indirect taalgebruik, waarbij het

voorbeeld genoemd wordt dat de plank ‘een raar gezicht naar haar trekt’.

Drie docenten noemen een grote hoeveelheid tekst als motief voor het

ongeschikt zijn van een tekst. Drie docenten noemen motieven die meer ingaan op de

inhoud van de teksten. Één docent merkt op dat er in de tekst De Plank teveel informatie

om de hoofdlijn wordt gegeven. Leerlingen zouden dan proberen die informatie te

begrijpen, terwijl die minder relevant is voor het verloop van het verhaal. Als voorbeeld

noemt zij “over de lichten, over de… . ‘fluorescerende lampen’ gaan ze dan proberen te

begrijpen terwijl het daar eigenlijk niet zo over gaat.” Een andere docente merkt over

dezelfde tekst op dat leerlingen moeite hebben om deze te begrijpen omdat de tekst

31

nauwelijks verkenningspunten heeft. De titel en de eerste alinea geven de leerling geen

duidelijk aanknopingspunt voor wat hij gaat lezen omdat het onderwerp ‘een meisje dat

Tae Kwon Do examen doet’ er niet duidelijk uit op te maken is. Een docente merkt op

dat zij de teksten over Vietnam niet geschikt vindt omdat de twee teksten in één keer

aangeboden worden. Dat zou voor de jongere leerlingen te moeilijk zijn. Een andere

docente merkt over dezelfde tekst op dat de informatiedichtheid erg hoog is. Dat doet

een beroep op de voorkennis van leerlingen die daarvoor onvoldoende is.

Laatstgenoemde docente noemt ook als motief dat de tekst over huisregels te lang is om

leerlingen een opdracht te geven om te skimmen. Bij skimmen worden leerlingen

gevraagd de tekstvluchtig en selectief door te nemen, waarbij de leerling zijn aandacht

richt op bepaalde signaalwoorden om een specifiek stuk informatie te vinden. De docent

vindt de hoeveelheid tekst echter te groot voor waardoor dit te moeilijk wordt.

Een docent merkt over dezelfde tekst op dat deze meer gestructureerd zou

moeten worden door hem in duidelijke, genummerde alinea’s te verdelen. De kwaliteit

van het printwerk van de topografische kaart in de Vietnam tekst werd ook genoemd als

belemmerend voor de begrijpelijkheid van de tekst. Tenslotte bemoeilijkt een te klein

lettertype het lezen.

4 docenten noemen motieven die vallen onder de derde categorie. Deze bestaat

uit motieven over welke vaardigheden niet van leerlingen verwacht mogen worden bij

het lezen van de tekst. Twee docenten noemen dat leerlingen moeite hebben met het

aflezen van gegevens uit een tabel. In relatie tot de eerder genoemde opmerking over

skimmen merkt dezelfde docente op dat leerlingen vaak nog niet goed genoeg de

vaardigheden bezitten om dit te kunnen doen. Bij de tekst over biobrandstof merkt zij

op dat in deze tekst te veel informatie te snel wordt gepresenteerd.

“In drie zinnen wordt het produceren van biobrandstoffen uitgelegd. Maar dat is voor een VMBOer niet genoeg om er iets bij kunnen voorstellen. Begrippen als ethanol en fermentatie moeten ze meteen in zich opgenomen hebben want verder wordt het steeds gebruikt, dat gaat veel te snel.” (MZ)

Ten slotte noemt één docente dat zij alle teksten voor haar eerstejaars leerlingen te

moeilijk zijn. Ze zullen daardoor de draad kwijtraken en afhaken omdat er geen

makkelijkere teksten tussen staan.

Media

32

In de gesloten vragen is ook een vraag opgenomen over de geschiktheid van de media

waaruit de teksten geselecteerd zijn. Dit leverde de volgende antwoorden op:

Figuur 4: resultaten vragenlijst over relevantie media Zijn de teksten afkomstig uit media die relevant zijn voor het 1e leerjaar VMBO? Ja De meeste teksten

wel Sommige wel, sommige niet

De meeste teksten niet

Nee

(3) (BW, VP, AS) (4) (NM, SC, MK, MZ,)

Zijn de teksten afkomstig uit media die relevant zijn voor het 3e leerjaar VMBO? Ja De meeste teksten

wel Sommige wel, sommige niet

De meeste teksten niet

Nee

(2) (BW, MK) (6) (NM, SC, TF, KT, MZ, AS)

Hieruit ontstaat een beeld dat de docenten over het algemeen de media waaruit de

teksten komen wel relevant vinden voor de leerlingen. Er zijn echter weinig motieven

genoemd ten aanzien van dit punt.

Één docent was positief over de taak waarin leerlingen een artikel uit een

buurtkrant moeten lezen: zij was mening dat dat een medium is dat leerlingen kennen

omdat “iedereen een buurtkrantje op de mat krijgt”.

Twee docenten vonden dat leerlingen met bepaalde media waaruit geselecteerd

was juist niet aanraking komen (bijvoorbeeld de Quest, een jongerentijdschrift waaruit

de Aromajockey taak is gekozen, of de Kampioen, het tijdschrift waar de tekst over

Biobrandstof uit is gehaald). De Quest zou meer gericht zijn op “meer ontwikkelde

kinderen”. De kampioen zouden leerlingen nooit lezen.

Onderwerpen

De vierde vraag uit de vragenlijst was gericht op de mening van de docenten ten aanzien

van de onderwerpen van de teksten. Hierop antwoorden zij:

33

Figuur 5: resultaten vragenlijst over de geschiktheid van de onderwerpen Zijn de onderwerpen van de teksten geschikt voor het 1e leerjaar VMBO? Ja De meeste

onderwerpen wel Sommige wel, sommige niet

De meeste onderwerpen niet

Nee

(1) (VP) (3) (BW, MK, AS) (3) (NM, SC, MZ) Zijn de onderwerpen van de teksten geschikt voor het 3e leerjaar VMBO? Ja De meeste

onderwerpen wel Sommige wel, sommige niet

De meeste onderwerpen niet

Nee

(3) (SC, MK, AS) (5) (BW, NM, TF, KT, MZ)

Over het algemeen zijn de docenten redelijk positief over de onderwerpen van de

teksten, maar wel kritisch ten aanzien van een aantal onderwerpen. Door vijf docenten

wordt het aansluiten bij de belevingswereld genoemd als motief voor het geschikt zijn

van het onderwerp van een tekst. Zo noemden meerdere docenten dat de teksten over

het mobieltjesverbod voor leerlingen heel herkenbaar zijn omdat zij zelf ook hun mobiel

niet aan mogen hebben staan op school. Twee docenten noemen het aansprekend zijn

van het onderwerp, zij refereren hier allebei naar de tekst Aromajockey. Docente KT

ligt dit toe:

“Ik denk dat dit een onderwerp is wat kinderen heel erg aanspreekt over een diskjockey. Ik denk dat ze het een leuk verhaal zouden vinden om te lezen. Op het moment ze het een leuk verhaal vinden dan heb je al de helft gewonnen met het beantwoorden van de vragen want dan lezen ze gewoon veel beter.”

Ook het feit dat een tekst actueel is, zoals ‘Mobieltjesverbod’ en ‘Aromajockey’, wordt

door twee docenten als motief genoemd. Ten slotte geeft een docente aan dat het

onderwerp van een tekst ook beter geschikt is indien het bij een ander vak al ter sprake

is gekomen, zoals bij de tekst over suikerbietensap. Dit sluit aan bij een opmerking van

een andere docent dat leerlingen bij het lezen van een tekst maar een beperkte

hoeveelheid nieuwe informatie kunnen verwerken.

In aansluiting bij wat eerder genoemd is, noemen vier docenten het niet

aansluiten bij de belevingswereld als motief voor het niet geschikt zijn van het

onderwerp van een tekst. Drie docenten noemen dat het onderwerp van bepaalde teksten

leerlingen niet aanspreekt zoals ‘Vietnam’ en ‘Biobrandstof’. Ook dit sluit aan bij wat

hierboven al genoemd is. Één docente merkt op dat de tekst over Vietnam niet geschikt

is omdat leerlingen in de bovenbouw geen geschiedenis meer krijgen. Een andere

docente merkt op dat het onderwerp van de tekst Buurtkrant te abstract is. Hiermee

doelde zij op termen in de tekst als ‘objectieve veiligheidsindex’ en ‘subjectieve

34

veiligheidsindruk’. Ten slotte noemt een andere docent dat dezelfde tekst te saai is voor

leerlingen.

Teksttype

De vijfde, en laatste, vraag uit de vragenlijst was gericht op de geschiktheid van de

teksttypen. Daarop gaven de docenten de volgende antwoorden: Figuur 6: resultaten vragenlijst over relevantie teksttype Komen de teksttypen die relevant zijn het 1e leerjaar VMBO aan bod in de SALSA-toets? Ja De meeste

teksttypen wel Sommige wel, sommige niet

De meeste teksttypen niet

Nee

(2) (BW, NM) (2) (MK, AS) (2) (SC, MZ) (1) (VP) Komen de teksttypen die relevant zijn het 3e leerjaar VMBO aan bod in de SALSA-toets? Ja De meeste

teksttypen wel Sommige wel, sommige niet

De meeste teksttypen niet

Nee

(4) (NM, TF, KT, MK)

(2) (BW, AS) (2) (SC, MZ)

Hieruit ontstaat het beeld dat de docenten overwegend positief zijn over de teksttypen

die in de SALSA-toets zijn opgenomen. Hierbij moet opgemerkt worden dat docenten

verschillende interpretaties leken te hebben over het begrip teksttype. Docenten leken de

vraag niet specifiek met de teksttypen betoog, uiteenzetting et cetera in gedachte te

beantwoorden, hoewel deze wel in het informatiepakket aan de docenten vermeld

stonden. De antwoorden waren eerder gebaseerd op een combinatie van een dergelijke

typering met het medium waaruit een tekst afkomstig was, bijvoorbeeld schoolboektekst,

krantartikel, fictief kinderverhaal.

Één docent vindt het positief dat sommige teksten meerdere bronnen combineren,

omdat hij vindt dat het kunnen combineren van informatie uit verschillende bronnen een

vaardigheid is waarover leerlingen moeten beschikken. Het gaat hierbij zowel om het

combineren van twee verschillende teksttypen (zoals in “Een Franse kolonie”, waarin

een verhaal wordt gecombineerd met een uiteenzetting) als om het combineren van een

tekst met een tabel (zoals in de tekst “Buurtkrant”). BW vindt de tekst Huisregels

geschikt omdat deze aansluit bij de praktijk van leerlingen:

“Huisregels ben ik een heel groot voorstander van. Dit is iets wat je tegenkomt in het dagelijks leven, ze komen in hotels, jeugdhotel en excursies. De zeilweek, om maar even bij de doelgroep te blijven, dit soort reglementen hangen in de boot. Heel erg normaal functioneel, bestaat dat woord nog… dat het direct toepasbaar is uit de praktijk in de klas.”

Ook een opmerking van MK sluit hierop aan: “Ze herkennen dat soort tekst, vmbo-

leerlingen krijgen niks dan regels”. Een docent geeft aan dat door fictieve teksten zoals

Koning Kostuum te gebruiken de lijn van de basisschool wordt doorgetrokken. Een

35

docent geeft aan dat het gebruik van verschillende teksten ook zorg voor afwisseling,

wat hij belangrijk vindt.

Motieven voor het niet geschikt zijn van een teksttype zijn slechts beperkt

genoemd. Één docent noemt dat het gebruik van een tekst uit een schoolvak niet

relevant is met betrekking tot begrijpend lezen. Leerlingen zouden bij de tekst over

Vietnam kunnen klagen dat het schoolvak op dat moment niet aan de orde is omdat ze

in de Nederlandse les zitten.

Ten slotte noemt MZ dat zij fictieve teksten niet geschikt vindt om

leesvaardigheid te oefenen:

“Met fictieve teksten doe je vaak hele andere dingen, dan gaat het toch meer om de verhaal beleving. Ik zou daar niet zo gauw leesstrategieën aan de orde stellen.”

11. Conclusie

In dit onderzoek, dat deel uitmaakt van een valideringsonderzoek betreffende de nieuw

ontwikkelde SALSA-leestoets, is de inhoudsvaliditeit beoordeeld op basis van de

gegevens die bij 9 docenten werkzaam in het VMBO zijn verzameld. Door middel van

interviews met deze docenten is getracht de hoofdvraag van dit onderzoek te

beantwoorden. De hoofdvraag luidde als volgt: “Zijn de leesvaardigheidstesten van de

SALSA-toets een valide meetinstrument in de ogen van VMBO-docenten Nederlands?”.

Om deze hoofdvraag te kunnen onderzoeken is deze opgesplitst in de volgende 4

deelvragen:

1) “Vinden de docenten de vragen een goede weerspiegeling van de relevante

vaardigheden?”

2) “Vinden de docenten de vragen van een gepast niveau?”

3) “Vinden de docenten de teksten relevant voor de leerlingen?”

4) “Vinden de docenten de teksten van een gepast niveau?”

Hieronder zullen de 4 deelvragen worden behandeld om vervolgens antwoord te geven

op de hoofdvraag.

“Vinden de docenten de vragen een goede weerspiegeling van de relevante

vaardigheden?”

36

Voor het beantwoorden van de eerste deelvraag is aan de docenten gevraagd welke

vaardigheden zij onder begrijpend lezen verstaan op basis waarvan kan worden

beoordeeld in welke mate de door de docenten relevant geachte vaardigheden

overeenkomen met het ontwerp van de SALSA-toets. De vaardigheden die genoemd

zijn door de docenten zijn onderverdeeld in 8 categorieën waarvan de laatste categorie

geen specifieke vaardigheid is, maar een categorie waarin de overige opmerkingen die

niet onder de andere vaardigheden te plaatsen waren een plek hebben gekregen.

Alle docenten verwezen naar het 1) doorgronden van de globale lijn van een

tekst. Leerlingen moeten teksten globaal kunnen bekijken, het onderwerp en de

hoofdgedachte eruit kunnen halen en inzicht hebben in de structuur en de tekstsoort. In

de SALSA-toets wordt deze vaardigheid getoetst aan de hand van de reflecting vragen.

Deze vragen kijken of de leerling afleidingen kan maken uit hele teksten dan wel

langere passages binnen een tekst.

De docenten noemden hiernaast 2) het kennis hebben van of omgaan met

moeilijke woorden en uitdrukkingen. Om een tekst te kunnen begrijpen moeten

leerlingen in staat zijn betekenissen van onbekende woorden en constructies te

achterhalen. Enerzijds wordt er niet specifiek gevraagd naar de betekenis van een

moeilijk woord. Er zijn geen vragen ontworpen waarbij er vanuit is gegaan dat een

leerling een woord niet kent, maar dat de betekenis wel uit de context te halen valt. Hier

staat tegenover dat er op theoretische gronden kan worden gesteld dat het een

vaardigheid is die misschien wel geen deel uitmaakt van de pure

teksbegripsvaardigheden, maar wel zeer belangrijk is voor leesbegrip in zijn

algemeenheid.

Verder verwezen de docenten naar het 3) doorzien van zins- en tekstverbanden,

waarmee aan de hand van herken- en verwijswoorden de tekststructuur kan worden

geanalyseerd. Ook het doorzien van zins- en teksverbanden wordt getoetst aan de hand

van de interpreting vragen.

De docenten noemden tevens het 4) activeren van de voorkennis. Het activeren

van de voorkennis is niet zozeer een vaardigheid die valt onder begrijpend lezen, maar

valt onder het toepassen van de juiste cognitieve leesstrategie. (Van den Broek &

Kremer, 2000 in Van Keer, 2002) Het betreft hier een activiteit die zeer functionlee is

voor de in de SALSA-toets verwerkte vaardigheden van retrieving, interpreting en

reflecting.

37

Ook het 5) toepassen van de juiste leesstrategie wordt niet getoetst in de

SALSA-toets. In Aarnoutse en Verhoeven (2003) worden begrijpend-leesstrategieën

omschreven als een cognitieve activiteit die lezers kunnen inzetten om een tekst goed te

begrijpen en om problemen bij het lezen te voorkomen of op te lossen. Zo kunnen

begrijpend-leesstrategieën beschouwd worden als hulpmiddelen die lezers al of niet

kunnen inzetten om het doel van het lezen met begrip te bereiken. Het toepassen van de

juiste strategie kan dus wel helpen om reflecting, retrieving en interpreting vragen te

beantwoorden.

Er waren ook docenten die refereerden naar het 6) evalueren van teksten. De

leerling moet volgens deze docenten een waarde van een tekst kunnen bepalen en de

inhoud van een tekst kunnen terugkoppelen naar de oriëntatiefase van het lezen van een

tekst. De reflecting vragen sluiten aan bij deze vaardigheid. Zo wordt de leerlingen in

bepaalde delen van de toets gevraagd om een tekst te evalueren en zelf waarde toe te

kennen aan een verhaal door een eigen mening en die te onderbouwen met argumenten.

Een deel van de respondenten noemde het 7) lokaliseren van informatie in een

tekst. De vaardigheid impliceert dat een leerling weet waar bepaalde informatie in een

tekst staat en deze ook kan opzoeken, bijvoorbeeld door te kijken naar de eerste en

laatste zin van alinea’s. Deze vaardigheid wordt getoetst aan de hand van de retrieving

vragen waar de leerlingen wordt gevraagd een letterlijk gegeven stukje informatie uit de

tekst te lokaliseren.

De 8) overige genoemde vaardigheden betroffen vaardigheden als doorgronden

van detailinformatie, taalgevoel en luisteren. Het doorgronden van detailinformatie

komt wel aan bod in de SALSA-toets door middel van de retrieving vragen omdat

nauwkeurig lezen hiervoor vereist is. De overige genoemde termen waren niet te

plaatsen onder de eerdergenoemde vaardigheden.

Al met al worden de vaardigheden die volgens de docenten vallen onder

begrijpend lezen, en ook getoetst kunnen worden in begrijpend lezen, behandeld in de

SALSA-leestoets. Wel kan er een kanttekening geplaatst worden omdat er geen vragen

zijn die specifiek betrekking hebben op het achterhalen van de betekenis van moeilijke

woorden. Aan de andere kant kan gesteld worden dat het kennis hebben van of omgaan

met moeilijke woorden of uitdrukkingen voorwaardelijk is voor alle genoemde

vaardigheden.

“Vinden de docenten de vragen van een gepast niveau?”

38

De tweede deelvraag is toegespitst op het niveau van de vragen. Uit de vragenlijst is het

beeld naar voren gekomen dat de docenten de vragen voor het eerste leerjaar ietwat aan

de moeilijke kant vonden en voor het derde leerjaar werd de moeilijkheidsgraad over

het algemeen passend gevonden. De meningen van de docenten zijn onderverdeeld in

twee typen, te weten: moeilijkheidsgraad van de vragen is passend en de

moeilijkheidsgraad van de vragen is niet passend.

Voor het wel passend vinden van de moeilijkheidsgraad van de vragen gaven

docenten vooral motieven van vaardigheden waarvan zij het goed vinden dat die

gevraagd worden, zoals tussen de regels kunnen lezen of de hoofdgedachte uit een tekst

kunnen halen.

Vragen werden niet passend gevonden wanneer er in de vragen een beroep werd

gedaan op (nog) irrelevante vaardigheden voor de leerlingen of de vraagstelling niet

helder genoeg was. Zo werd genoemd dat leerlingen nog niet vaardig zijn in het

herkennen van doelen of dat een vraag over aanhalingstekens ongeschikt is omdat het

gebruik daarvan nog niet behandeld is. Verder werd gesteld dat het taalgebruik niet

duidelijk genoeg was of dat er moeilijke woorden in de vragen stonden.

“Vinden de docenten de teksten relevant voor de leerlingen?”

De derde deelvraag is gericht op de relevantie van de teksten voor de leerlingen. Deze is

uitgesplitst in relevantie van medium, onderwerp en teksttype. Over deze drie

onderdelen zijn docenten over het algemeen positief voor zowel het 1e als het 3e leerjaar

VMBO. Vooral de tekst Mobieltjesverbod wordt als positief gezien en ook over de

verhalen ‘De Plank’ en ‘Koning Kostuum’ zijn de docenten over het algemeen positief.

Een aantal docenten uitte zich kritisch over de teksten uit de toets en met name over

‘Vietnam’ en ‘Buurtkrant’. De teksten zijn volgens de docenten dus niet allemaal

relevant voor leerlingen. De drie aspecten worden hieronder nogmaals kort

doorgenomen.

Uit de vragenlijsten is het algemene beeld ontstaan dat sommige teksten wel en

sommige teksten niet geschikt werden bevonden voor de leerlingen. Media werden

voornamelijk geschikt bevonden door de docenten wanneer de leerlingen hier in het

dagelijkse leven mee te maken krijgen en hiermee in aanraking komen. Wanneer

docenten motieven noemden over het niet geschikt zijn van een medium was dat

meestal omdat het medium niet relevant werd geacht voor leerlingen. Zij lezen volgens

39

docenten sommigen van de tijdschriften niet waar teksten uit geselecteerd zijn, zoals de

Quest of de Kampioen.

Over de onderwerpen die aan bod komen zijn de docenten over het algemeen

redelijk positief. Onderwerpen werden geschikt geacht wanneer deze volgens de

docenten aansluiten bij de belevingswereld van leerlingen. Ook in de toelichtingen die

zij hierbij gaven werd het belang hiervan benadrukt. Verder moet ook het onderwerp de

leerlingen aanspreken. Deze motieven zijn allebei gerelateerd aan de motivatie van

leerlingen om een tekst te lezen. Illustratief hiervoor is de tekst ‘Mobieltjesverbod’.

Onderwerpen werden ongeschikt bevonden om de tegenovergestelde reden dat deze niet

zouden aansluiten bij de belevingswereld van de leerlingen, zoals de tekst ‘Vietnam’.

Ook over de relevantie van de teksttypen waren de docenten overwegend

positief. Een teksttype werd relevant gevonden waneer leerlingen vaak te maken krijgen

met het type tekst, zoals de instructies die aan bod komen in ‘Huisregels’. Verder

merkten docenten op dat het teksttype leerlingen voldoende moet uitdagen en dat er ook

afwisseling van teksttypen goed is. Teksttypen werden irrelevant geacht wanneer deze

door de docenten niet binnen de Nederlandse les thuishoren zoals de geschiedenistekst

‘Vietnam’ en wanneer teksten niet geschikt zijn om leesbegripsvaardigheden te meten

zoals fictieve teksten.

“Vinden de docenten de teksten van een gepast niveau?”

De vierde deelvraag is toegespitst op de geschiktheid van het niveau van de teksten.

Wanneer er wordt gekeken naar de uitkomsten van de vragenlijst is te zien dat de

docenten de teksten voor het 1e leerjaar VMBO wat aan de moeilijke kant vinden. Voor

het 3e leerjaar lijken de docenten de moeilijkheidsgraad van de teksten wel passend te

vinden.

De mening dat een tekst van gepast niveau is voor de leerlingen bleek veelal

samen te hangen met het relevant vinden van een onderwerp. Een relevant onderwerp

activeert meer voorkennis waardoor de tekst minder moeilijk wordt en de

moeilijkheidsgraad van de tekst als passend kan worden beschouwd. Hiernaast werd de

moeilijkheid passend gevonden wanneer de teksten beroep doen op vaardigheden van

leerlingen die de leerlingen wel beheersen zoals de boodschap uit een tekst kunnen

halen.

De moeilijkheidsgraad van de teksten werd niet passend gevonden wanneer het

onderwerp irrelevant was en, in tegenstelling tot het vorige, de voorkennis onvoldoende

40

geactiveerd wordt. Een tekst werd ook te moeilijk bevonden wanneer deze beroep doet

op vaardigheden van de leerlingen die onvoldoende beheerst worden, zoals het aflezen

van gegevens uit een tabel of een te complexe tekst waardoor de leerlingen de

concentratie verliezen. Als laatst werden er ook motieven genoemd die betrekking

hebben op de structuur zoals de hoeveelheid tekst, complexe zinnen of een te hoge

informatiedichtheid.

De hoofdvraag van dit onderzoek luidde: “zijn de leesvaardigheidsteksten van de

SALSA-toets een valide meetinstrument in de ogen van VMBO-docenten Nederlands?”

Nu de vier deelvragen beantwoord zijn kan ook een antwoord op deze vraag

geformuleerd worden.

Op geen van de vier deelvragen is een volkomen positief antwoord gekomen dat

de toets daaraan voldoet. Bij ieder zijn enkele kanttekeningen geplaatst waar de toets

nog tekortkomingen vertoont. Deze staan mede hieronder weergegeven in de discussie.

12. Discussie

Kritische methodologische analyse

Wanneer er kritisch wordt gekeken naar de gehanteerde methode binnen dit onderzoek

is het ten aanzien van het interviewinstrument noodzakelijk om af te vragen of het open

karakter van de bevraging niet heeft gezorgd voor onduidelijke of missende informatie.

Zo bleek het voor de onderzoekers dikwijls lastig te zijn de docenten een rechtstreekse

koppeling te laten maken tussen de door hen genoemde vaardigheden en aspecten uit de

toets. Tevens kan op eenzelfde wijze gesteld worden dat door docenten genoemde

begrippen of concepten achteraf gezien te beperkt zijn gespecificeerd om er uitspraken

over te kunnen doen. Hiernaast kan er ten aanzien van de databewerking ook een

nuancering worden aangebracht bij de categorisering van de vaardigheden die volgens

de docenten zouden vallen onder begrijpend lezen. Ondanks dat er is gestreefd naar

intersubjectiviteit kan er gesteld worden dat er als codeurs interpretaties zijn gemaakt

waarvan niet volledig zeker is wat de docent heeft bedoeld.

Interpretatie Resultaten

41

Wat betreft de aanwezigheid van de door de docenten genoemde vaardigheden in de

SALSA-leestoets kan gesteld worden dat hoewel het merendeel van de genoemde

vaardigheden expliciet te herleiden valt naar erkende vaardigheden in de SALSA-

leesttoets een tweetal genoemde vaardigheden eerder impliciet valt te herleiden. Dit

betreffen de vaardigheid: het kennis hebben van of kunnen omgaan met moeilijke

woorden en het kunnen activeren van voorkennis. In dit verband kan gesteld worden dat

hier verwezen wordt naar activiteiten en vaardigheden die zeer functioneel en

voorwaardelijk zijn voor de in de Salsa-toets verwerkte vaardigheden. Om verwarring te

voorkomen maar ook om duidelijkheid te scheppen kan het verstandig zijn om enerzijds

gedurende het creatieproces van een nieuwe toets hier bij stil te staan en anderzijds in de

verantwoording over een al gemaakte leestoets zoals de SALSA-leestoets naast pure

begrijpend lezen vaardigheden tevens deze algemene vaardigheden te benoemen.

De moeilijkheidsgraad van de vragen wordt wisselend als niet passend

beschouwd. Als bevestiging voor de validiteit van de SALSA-leestoets kan men positief

beschouwen dat het soort vragen zelden bekritiseerd wordt door de docenten. Wel

hebben de docenten moeite met de toegankelijkheid en de transparantie van de

formulering van de vragen. Hier kunnen moeilijk taalgebruik en lastige gevraagde

vaardigheden of operaties onder worden verstaan. In dit geval zou het raadzaam kunnen

zijn als toetsontwikkelaar het doel van de vraagstellingen met betrekking tot het

benadrukken van bepaalde vaardigheden nogmaals te bezien.

Wat betreft de geschiktheid van de onderwerpen die aan bod komen in de

SALSA-toets waren er docenten die stelden dat sommige teksten niet goed zouden

aansluiten op de belevingswereld van de leerlingen. In aansluiting hierop noemen zij

ook dat een onderwerp leerlingen moet aanspreken. Hierbij kan men zich afvragen in

hoeverre er in een leestoets onderwerpen moeten zitten die aansluiten bij de

belevingswereld van de leerlingen en de interesses van deze leerlingen opwekken. Een

van de voornaamste doelen van het onderwijs is om de leerlingen voor te bereiden voor

een leven in de maatschappij. Dit houdt in dat deze leerlingen in hun latere leven en

loopbaan ook met teksten te maken zullen krijgen die niet aansluiten bij de eigen

belevingswereld en waarin de leerlingen niet geïnteresseerd zijn. Vanuit deze gedachte

kan gesteld worden dat een onderwerp van een tekst wel geschikt kan zijn voor de

leerlingen, ondanks dat deze niet aansluit op de belevingswereld van de leerlingen.

Betreffende de moeilijkheidsgraad van de teksten is er een verschil in de

beoordeling te zien tussen het 1e en het 3e leerjaar van het VMBO. De motieven van de

42

docenten voor het al dan niet moeilijk bevinden van de teksten betrof de geschiktheid

van de tekst, factoren die begrip kweken omtrent een tekst en motieven over welke

vaardigheden van leerlingen al dan niet verwacht worden bij het lezen van de tekst. Het

is onduidelijk welk onderscheid er gemaakt kan worden tussen vaardigheden die

leerlingen in het 3e leerjaar wel moeten beheersen en in het 1e leerjaar nog niet kunnen

toepassen.

Suggesties voor verder onderzoek & eindconclusie

Om meer ondersteuning te kunnen vinden voor de inhoudsvaliditeit van de SALSA-

toets zouden er naast de docenten die zijn geïnterviewd voor dit onderzoek, ook een

beroep gedaan kunnen worden op de beoordelingen van andere experts die werkzaam

zijn in het veld. Hierbij valt te denken aan andere toetsontwikkelaars zoals het CITO,

Methodeontwikkelaars die het onderdeel van begrijpend lezen verwikkeld hebben in de

methode voor het vak Nederlands en docenten die lesgeven aan lerarenopleidingen.

Om meer inzicht te verkrijgen in de verschillen tussen de leerlingen op het

VMBO is het ook aan te raden om onderzoek te doen naar de verschillen in leerlingen

tussen de basisberoepsgerichte leerweg en de kaderberoepsgerichte leerweg. Dit kan

data opleveren waardoor er nog meer inzicht kan worden verkregen in de geletterdheid

van achterstandsleerlingen.

Al met al kan er gesteld worden dat er ondersteuning is gevonden voor de

inhoudsvaliditeit van de SALSA-toets en dat dit specifieke onderzoek zijn bijdrage

heeft geleverd aan het valideringsonderzoek betreffende deze nieuw ontwikkelde toets.

De SALSA-toets wordt momenteel al in gebruik genomen en zal zijn gebruik in de

toekomst voortzetten. Op deze manier hoopt de SALSA-toets, in het kader van het

bredere SALSA-onderzoek, een nuttige bijdrage te leveren aan leerlingen op het

voortgezet onderwijs die achterblijven in de ontwikkeling van lees- en

schrijfvaardigheid en hier in hun latere loopbaan hinder aan ondervinden.

43

Literatuur Aarnoutse, C. & Verhoeven, L. (2003). Ontwikkeling Van Onderzoek Op Het Gebied Van Begrijpend Lezen. Tijschrift voor Onderwijskunde en Opvoedkunde, 80:1, pp. 81-91. Alderson, J.C. (2000) Assessing Reading. Cambridge: Cambridge University Press. American Educational Research Association (AERA), American Psychological

Association (APA) & National Council on Measurement in Education (NCME) (1985) Standards for Educational and Psychological Testing. Washington, DC: APA.

American Educational Research Association (AERA), American Psychological

Association (APA) & National Council on Measurement in Education (NCME) (1999) Standards for Educational and Psychological Testing. Washington, DC: APA.

American Psychological Association (1955) Technical Recommandations for

Achievement Tests. Washington, DC: National Educational Association. American Psychological Association (1966) Standards for Educational and

Psychological Tests and Manuals. Washington, DC: APA. American Psychological Association (1974) Standards for Educational and

Psychological Tests. Washington, DC: APA. Anastasi, A. (1988) Psychological Testing. New York: Macmillan Bachman, L. F. (1990) Fundamental Considerations in Language Testing. Oxford:

Oxford University Press. Bachman, L. F. & Palmer, A. S. (1996) Language Testing in Practice. Oxford: Oxford

University Press. Bachman, L. F. (2000) Modern language testing at the turn of the century: assuring that

what we count counts. Language Testing, 17(1), 1-42. Bryman, A. (2004) Social Research Methods. Oxford: Oxford University Press. Burns, W. C. (1995) Content Validity, Face Validity, and Quantitative Face Validity. Cohen, L., Manion, L. & Morrison, K. (2007) Research Methods in Education.

London/New York: Routledge. Colpin, M., Gysen, S., Jaspaert, K., Heymans, R., Van den Branden, K. & Verhelst, M.

(2006) Studie naar de wenselijkheid en haalbaarheid van de invoering van centrale taaltoetsen in Vlaanderen in functie van gelijke onderwijskansen. Leuven: K.U.Leuven.

44

Cronbach, L. J. & Meehl, P. E. (1955) Construct validity in psychological tests. Psychological Bulletin 52, 281-302.

Cummings, A., Grant, L., Mulcahy-Ernt, P. & Powers, D.E. (2004) A teacher

verification study of speaking and writing prototype tasks for a new TOEFL. Language Testing 21, 107-59.

Curtis, M.E. (2002), Adolescent Reading: A synthesis of research, Online available: http://www.nifl.gov/partnershipforreading/adolescent/default.html Dagevos, J. M. Gijsbers & C. van Praag (red.) (2003), Rapportage minderheden. Onderwijs, arbeid en sociale integratie, Den Haag: SCP. Drenth, P. & Sijtsma, K. (1990) Testtheorie. Inleiding in de theorie van de

psychologische test en zijn toepassingen. Houten/Diegem: Bohn Stafleu van Loghum

Fenstermacher, G.D. (1994). The knower and known: The nature of knowledge in reasearch on teaching. Review of Research on Teaching, 20, 3-56 Francis, D.J., C.E. Snow, D. August, C.D. Carlson, J. Miller & A. Iglesias, (2006), Measures of reading comprehension. A latent variable analysis of the

Diagnostic assessment of reading comprehension, Scientific Studies of Reading 10 (3): 301 - 322.

Fulcher, G. & Davidson, F. (2007) Language Testing and Assessment. London/New York: Routledge. Garner, R. (1987), Metacognition and reading comprehension, Norwood, NJ: Ablex. Gudmundsdottir, S. (1996). The teller, the tale, and the one being told: The narrative nature of the research interview. Curriculum Inquiry, 26(3), 293-306. Harris, J.L., W.A. Rogers & C.D. Qualls (1998), Written language comprehension in younger and older adults, Journal of Speech, Language & Hearing Research

41 (3): 603-617. Hoyle, R.H., Harris, M.J., & Judd, C.M. (1996). Research Methods in Social

Relations.Pacific Groove, California. Hughes, A. (1989) Testing for Language Teachers. Cambridge: Cambridge University

Press. Klintsch, W. (1998), Comprehension. A paradigm for cognition, Cambridge:

Cambridge. University Press. Lin, L.M. (2000), Metacomprehension knowledge and comprehension of expository

and narrative texts among younger and older adults, Educational Gerontology, 26: 737-749.

45

Markham, K.M., Mintzes, J.J., & Jones, M.G. (1994). The concept map as a research and evaluation tool: Further evidence of validity. Journal of Research in Science Education, 31(1), 91-101. Meijer, P.M., Verloop, N., & Beijaard, D. (1999). Exploring language teachers’ practical knowledge about teaching reading comprehension. Teaching and Teacher Education. 15, 59-84. Meisels, S.J., Bickel, D.D., Nicholson, J., Xue, Y. & Atkins-Burnett, S. (2001)

Trusting teacher judgements: A validity study of a curriculum-embedded performance assessment in kindergarten to grade 3. American Educational Research Journal 38, 73-95.

Messick, S. (1989). Meaning and values in test validition. The science and ethics of assessment, Educational Researcher 18 (2): 5-11 Messick, S. (1989). Validity. In Lynn, R. L. (ed.) Educational Measurement, New York: Macmillan/American Council on Education, 13-103. Janssen, T., Ten Dam, G., & Van Hout Wolters, B. (2002). Vaardigheden voor zelfstandig leren. Een praktijkgericht overzicht van onderzoek. Assen: Van Gorcum. OECD (2001). Knowledge and Skills for Life. First results from PISA 2000, Paris: OECD. Rosenshine, B.V. (1980). Skill hierarchies in reading comprehension. In. R.J. Spiro, B.C.

Bruce, and W.F. Brewer (Eds.), Theoretical issues in reading comprehension (pp. 535-559). Hillsdale, NJ: Lawrence Erlbaum Associates.

Van Keer, H. (2002). Een boek voor twee. Strategieën voor begrijpend lezen via peer tutoring. Antwerpen: Garant. Van Steensel, R. van, Gelderen, A. van, Oostdam, R., Trapman, M. (2009). A new test for measuring text comprehension skills of at-risk adolescents; preliminary results of a validiton study.

Weir, C. J. (2005) Language Testing and Validation. New York: Palgrave Macmillan

46

Bijlage 1. Inleidende brief aan docenten

Nieuwe Prinsengracht 130

Postbus 942081090 GE Amsterdam

www.sco-kohnstamminstituut.uva.nluva.ozp@gmail.com

Amsterdam, ..-..-2009 Betreft: Interview SALSA-project Contactpersoon: …….. Beste …. Onlangs hebben we contact met u gehad over een onderzoek naar de SALSA-toets, een nieuwe leestoets voor vmbo-leerlingen. We hebben met u een afspraak gemaakt voor een interview op …… om…..uur, dat zal worden afgenomen door ….. Wij stellen het erg op prijs dat u ons wil helpen. Zoals aangegeven, willen we met het onderzoek nagaan of de toets passend is voor de doelgroep (vmbo-leerlingen uit leerjaar 1, 2 en 3 van de basis- en kaderberoepsgerichte leerwegen). Dat doen we door de mening te vragen van experts zoals u, die vanuit de praktijk inzicht hebben in de teksten waarmee deze leerlingen geconfronteerd worden en de vaardigheden die zij nodig hebben om deze teksten te begrijpen. We zouden graag uw oordeel willen hebben over vragen als: is het type vaardigheden dat we meten relevant? Zijn de teksten die we hebben geselecteerd relevant en sluiten ze voldoende aan op het niveau van de leerlingen? In deze envelop zitten naast deze brief in totaal 4 documenten die dienen als voorbereiding voor het interview. Wij vragen u om de documenten in onderstaande volgorde door te nemen.

1) Conceptmap Wij willen het interview graag beginnen met de vraag wat u precies onder begrijpend lezen verstaat en wat volgens u de belangrijkste vaardigheden zijn die vmbo-leerlingen (basis/kader) moeten beheersen. We willen u daarom vragen om vooraf een zogenaamde “conceptmap” uit te tekenen met betrekking tot het begrip begrijpend lezen. Bijgaand vindt u een korte uitleg over de uitwerking van zo’n concept map. Als voorbeeld hebben wij een concept map

47

over schrijfvaardigheid bijgevoegd, om u een idee te geven hoe uw concept map eruit kan komen te zien. Omdat de toets is gericht op leerlingen van leerjaar 1 tot en met 3 vragen wij u tevens na te denken of u van leerlingen in leerjaar 1 andere vaardigheden verwacht dan van leerlingen in leerjaar 3.

2) Interviewagenda In het tweede document staan de onderwerpen die we met u willen bespreken. Wij zouden u graag willen vragen om tijdens het bekijken van de SALSA-leestoets deze onderwerpen in het achterhoofd te houden. Zo kunt u gerichter naar de toets kijken, wat de voorbereiding op het interview mogelijk gemakkelijker maakt.

3) De SALSA-toets (+ antwoordenvel) Na het maken van de conceptmap en het bekijken van de interviewagenda, zouden wij u willen vragen om de toelichting op de SALSA-leestoets en de toets zelf te bekijken. Het is misschien handig om bij het bekijken van de toets aantekeningen te maken van zaken die u opvallen, zodat u die in het interview ter sprake kunt brengen.

4) Meerkeuzevragen Het laatste document bestaat uit vijf meerkeuzevragen. Wij zouden het op prijs stellen als u deze vragen invult en meeneemt naar het interview. Tijdens het interview zullen wij samen met u de antwoorden doorlopen en zullen wij u vragen om uw keuze uit te leggen en toe te lichten aan de hand van voorbeelden dan wel alternatieven.

Nadat wij de interviews hebben afgenomen zullen wij de data verwerken en het onderzoek afronden. In de loop van april zullen wij dit verslag presenteren tijdens een bijeenkomst op de universiteit en u bent zeer welkom om deze presentatie bij te wonen. Tevens zullen wij een exemplaar van het verslag naar u toesturen. Over het verslag en de presentatiedata zullen wij u nader informeren. Mocht u tijdens het bekijken van de SALSA-leestoets nog vragen hebben, of ergens niet helemaal uit komen, dan kunt u altijd contact opnemen met ons via volgend e-mail adres of telefoonnummer: E-mail adres: uva.ozp@gmail.com Telefoonnummer: Wij zijn erg benieuwd naar uw oordeel over de SALSA-toets en willen u dan ook nogmaals bedanken voor uw bereidheid deel te nemen. Wellicht ten overvloede maar we willen u nogmaals vragen om alle documenten mee te nemen naar het interview. Met vriendelijke groet, Remmert Daas Remy Havermans Jeffrey van Noortwijk

48

Bijlage 2. Concept map voorbeeld Conceptmap Inleiding en instructie Uw leerlingen worden in uw les, maar ook in andere lessen regelmatig geconfronteerd met (Nederlandse) teksten. Bij het verwerken van deze teksten – d.w.z. bij het begrijpend lezen – moeten leerlingen verschillende activiteiten uitvoeren en moeten ze verschillende soorten vaardigheden aanspreken. Als het gaat om begrijpend lezen, wat zijn dan volgens u de belangrijkste dingen die uw leerlingen moeten kunnen? Wij willen u vragen uw ideeën op te schrijven in een zogenaamde ‘concept map’, die u vindt aan de achterkant van deze pagina. Het doel van het maken van een concept map is te komen tot een zo precies mogelijke beschrijving van een algemeen begrip (hier: begrijpend lezen). In een concept map kun je zo’n algemeen begrip onderverdelen in een aantal deelbegrippen. Als het nodig is, kunt je ook die deelbegrippen weer verder onderverdelen en kun je relaties tussen begrippen aangeven. Als voorbeeld hebben wij hieronder een conceptmap van het begrip schrijfvaardigheid toegevoegd. Wij willen u vragen om op dezelfde wijze de conceptmap met betrekking tot begrijpend lezen in te vullen. Hierbij kunt u uzelf afvragen

- uit welke deelvaardigheden bestaat begrijpend lezen? - zijn ook deze deelvaardigheden weer onder te verdelen in meerdere losse

vaardigheden? - welke relaties hebben deze vaardigheden?

Conceptmap schrijfvaardigheid

49

Bijlage 3. Interviewagenda Interviewagenda Algemeen

1. Wat zijn volgens u de belangrijkste vaardigheden waarover vmbo-leerlingen basis/kader moeten beschikken en/of activiteiten die zij moeten kunnen uitvoeren wanneer zij begrijpend lezen? (zie concept map)

2. Hoe wordt begrijpend lezen tijdens uw lessen behandeld? Denkt u daarbij aan: de

methode die u gebruikt, het type teksten dat leerlingen moeten verwerken, het type leesopdrachten dat zij krijgen.

3. Sluit de manier waarop begrijpend lezen in de (voorgeschreven) lesmethode wordt

behandeld aan op uw eigen zienswijze van hoe dit zou moeten gebeuren?

4. Op welke manier vindt u dat de vaardigheid in begrijpend lezen onder uw leerlingen gemeten zou moeten worden? Hoe toetst u begrijpend lezen in de praktijk?

De SALSA-toets

5. Komen volgens u de vaardigheden zoals die zijn besproken bij vraag 1 voldoende aan bod in de SALSA-toets?

6. Sluiten de vragen die in de SALSA-toets zijn opgenomen aan op deze vaardigheden?

7. Zijn de vragen van de SALSA-toets volgens u van een gepaste moeilijkheidsgraad voor

de doelgroep (vmbo-leerlingen basis/kader, leerjaar 1/3)?

8. Zijn de teksten in de SALSA-toets volgens u van een gepaste moeilijkheidsgraad voor de doelgroep?

9. Zijn de gekozen teksten in de SALSA-toets volgens u geschikt voor de doelgroep wat

betreft medium, onderwerp en teksttype? Let op: Tijdens het interview zal de nadruk liggen op punt 5 – 9 zoals hierboven staat aangegeven. Verder willen wij u vragen de toets te beoordelen vanuit zowel het 1e leerjaar VMBO als het 3e leerjaar VMBO. Om deze verschillen aan te geven raden wij u aan aantekeningen te maken zodat het interview nog sneller en makkelijker kan verlopen.

50

Bijlage 4. Vragenlijsten Meerkeuzevragen Het laatste document bestaat uit 2 sets van vijf meerkeuzevragen. Zoals eerder aangegeven, willen we u vragen bij de beoordeling van de toets een onderscheid te maken tussen leerjaar 1 en 3. De eerste set vragen betreft daarom het 1e leerjaar van het VMBO en de tweede set (op de achterzijde) betreft het 3e leerjaar van het VMBO. Tijdens het interview zullen wij samen met u de antwoorden doorlopen en zullen wij u vragen om uw keuze uit te leggen. Het isprettig als u uw antwoord zou kunnen onderbouwen aan de hand van voorbeelden uit de toets. Als u bijvoorbeeld vindt dat bepaalde vragen anders geformuleerd zouden moeten worden of dat er andere teksten gebruikt zouden moeten worden, horen wij ook graag uw alternatieven. 1e leerjaar VMBO: 1. Is de moeilijkheidsgraad van de vragen passend voor het 1e leerjaar VMBO?

De vragen zijn over het algemeen

te makkelijk

Sommige vragen zijn te makkelijk

De vragen zijn over het algemeen van een gepaste

moeilijkheid

Sommige vragen zijn te moeilijk

De vragen zijn over het algemeen

te moeilijk

0 0 0 0 0 2. Is de moeilijkheidsgraad van de teksten passen voor het 1e leerjaar VMBO?

De teksten zijn over het algemeen

te makkelijk

Sommige teksten zijn te makkelijk

De teksten zijn over het algemeen van een gepaste

moeilijkheid

Sommige teksten zijn te moeilijk

De teksten zijn over het algemeen

te moeilijk

0 0 0 0 0 3. Zijn de teksten afkomstig uit media die relevant zijn voor het 1e leerjaar VMBO?

Ja De meeste teksten wel

Sommige wel, sommige niet

De meeste teksten niet

Nee

0 0 0 0 0 4. Zijn de onderwerpen van de teksten geschikt voor het 1e leerjaar VMBO?

Ja De meeste onderwerpen wel

Sommige wel, sommige niet

De meeste onderwerpen niet

Nee

0 0 0 0 0 5.Komen de teksttypen die relevant zijn het 1e leerjaar VMBO aan bod in de SALSA-toets?

Ja De meeste teksttypen wel

Sommige wel, sommige niet

De meeste teksttypen niet

Nee

0 0 0 0 0

51

52

3e leerjaar VMBO: 1. Is de moeilijkheidsgraad van de vragen passend voor het 3e leerjaar VMBO?

De vragen zijn over het algemeen

te makkelijk

Sommige vragen zijn te makkelijk

De vragen zijn over het algemeen van een gepaste

moeilijkheid

Sommige vragen zijn te moeilijk

De vragen zijn over het algemeen

te moeilijk

0 0 0 0 0 2. Is de moeilijkheidsgraad van de teksten passen voor het 3e leerjaar VMBO?

De teksten zijn over het algemeen

te makkelijk

Sommige teksten zijn te makkelijk

De teksten zijn over het algemeen van een gepaste

moeilijkheid

Sommige teksten zijn te moeilijk

De teksten zijn over het algemeen

te moeilijk

0 0 0 0 0 3. Zijn de teksten afkomstig uit media die relevant zijn voor het 3e leerjaar VMBO?

Ja De meeste teksten wel

Sommige wel, sommige niet

De meeste teksten niet

Nee

0 0 0 0 0 4. Zijn de onderwerpen van de teksten geschikt voor het 3e leerjaar VMBO?

Ja De meeste onderwerpen wel

Sommige wel, sommige niet

De meeste onderwerpen niet

Nee

0 0 0 0 0 5.Komen de teksttypen die relevant zijn het 3e leerjaar VMBO aan bod in de SALSA-toets?

Ja De meeste teksttypen wel

Sommige wel, sommige niet

De meeste teksttypen niet

Nee

0 0 0 0 0 Hartelijk dank voor het doorlopen van alle documenten en wij horen graag uw mening en beoordeling over de SALSA-toets in het interview.