Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten...

3
CAPvzw 06/2013 1 Psychometrische principes crossbattery-benadering (XBA) Waarom XBA? De XBA-methode heeft een belangrijke meerwaarde: - ze waarborgt bij intelligentiemeting een brede en evenwichtige vertegenwoordiging van cognitieve vaardigheden volgens het CHC-model. Intelligentiemeting is zo gebaseerd op een empirisch ondersteund model. - onder- of oververtegenwoordiging van BCV’s en NCV’s binnen één test kunnen weggewerkt worden - de methode beschermt tegen foutieve interpretaties van construct-irrelevante variantie binnen schaalscores en subtestscores, bv. binnen het VIQ van de oude WISC III (Rekenen en Cijferreeksen) of bv. Onvolledige Tekeningen als zuivere PO-indicator - ze voorkomt dat men verregaande interpretaties doet op basis van één subtest Welke principes moet men volgen bij XBA? Flanagan et all. ontwierpen na jaren studiewerk en ervaring (> 1997) een XBA-benadering die psychometrisch en theoretisch verantwoord is. XBA volgens hun principes geeft de psychometrisch best onderbouwde beoordeling van de cognitieve vaardigheden van een leerling, binnen de grenzen van praktische beperkingen (bv. tijd en beschikbaarheid van tests) en de diagnostische vraagstelling. Zij stellen dat het niet realistisch en niet nodig is om te wachten op de constructie van één instrument dat alle vaardigheden meet, genormeerd op één representatieve Amerikaanse populatie. Wanneer men hun principes systematisch volgt, zijn fouten te wijten aan de XBA-benadering te verwaarlozen. Bij hun meest recente publicaties werden een aantal aspecten van de methodiek verder verfijnd. In Vlaanderen moeten we bijkomend rekening houden met beperkingen van het beschikbare materiaal. De basis van de psychometrische benadering in Vlaanderen werd verder uitgewerkt in de CAP-publicatie van 2007, aangevuld in 2010 (CHC-platform) en binnen CAP-overleg van 2013. “De testinstrumenten zijn niet bedoeld om zo te gebruiken?” Wij stellen een diagnose: een diagnose stellen betekent steeds een samenbrengen, vergelijken en relaties leggen tussen gegevens. Het CHC-kader en XBA bieden een meer psychometrisch en theoretisch verantwoorde houvast dan een louter intuïtief gebruiken van deze gegevens. CHC- gegevens moeten kaderen binnen een diagnostisch traject (bv. HGD). Observatiegegevens, intakegegevens, andere testgegevens en een klinisch oordeel zijn even belangrijk. M.a.w., ga steeds de ecologische validiteit na van de testresultaten en maak hiervoor o.a. gebruik van de empirische evidentie vanuit het CHC-model over correlaties tussen cognitieve vaardigheden en schoolse vaardigheden. XBA-principes (Flanagan, D.P., Alfonso V.C. & Ortiz, S.O., 2013; Magez, W. & De Cleen, W., 2007; Magez, W., 2010) 1. Selecteer één intelligentietest als kern van de batterij Vlaanderen: WPPSI III, WISC III, KAIT, WAIS IV Ga na welke BCV’s niet of ondervertegenwoordigd zijn

Transcript of Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten...

Page 1: Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten zijn in het ... Gs en Ga. Een totaal-IQ moet een schatting blijven van de G-factor.

CAPvzw 06/2013

1

Psychometrische principes crossbattery-benadering (XBA)

Waarom XBA?

De XBA-methode heeft een belangrijke meerwaarde:

- ze waarborgt bij intelligentiemeting een brede en evenwichtige vertegenwoordiging van

cognitieve vaardigheden volgens het CHC-model. Intelligentiemeting is zo gebaseerd op een

empirisch ondersteund model.

- onder- of oververtegenwoordiging van BCV’s en NCV’s binnen één test kunnen weggewerkt

worden

- de methode beschermt tegen foutieve interpretaties van construct-irrelevante variantie

binnen schaalscores en subtestscores, bv. binnen het VIQ van de oude WISC III (Rekenen en

Cijferreeksen) of bv. Onvolledige Tekeningen als zuivere PO-indicator

- ze voorkomt dat men verregaande interpretaties doet op basis van één subtest

Welke principes moet men volgen bij XBA?

Flanagan et all. ontwierpen na jaren studiewerk en ervaring (> 1997) een XBA-benadering die

psychometrisch en theoretisch verantwoord is. XBA volgens hun principes geeft de

psychometrisch best onderbouwde beoordeling van de cognitieve vaardigheden van een

leerling, binnen de grenzen van praktische beperkingen (bv. tijd en beschikbaarheid van tests) en

de diagnostische vraagstelling. Zij stellen dat het niet realistisch en niet nodig is om te wachten

op de constructie van één instrument dat alle vaardigheden meet, genormeerd op één

representatieve Amerikaanse populatie. Wanneer men hun principes systematisch volgt, zijn

fouten te wijten aan de XBA-benadering te verwaarlozen. Bij hun meest recente publicaties

werden een aantal aspecten van de methodiek verder verfijnd. In Vlaanderen moeten we

bijkomend rekening houden met beperkingen van het beschikbare materiaal. De basis van de

psychometrische benadering in Vlaanderen werd verder uitgewerkt in de CAP-publicatie van

2007, aangevuld in 2010 (CHC-platform) en binnen CAP-overleg van 2013.

“De testinstrumenten zijn niet bedoeld om zo te gebruiken?”

Wij stellen een diagnose: een diagnose stellen betekent steeds een samenbrengen, vergelijken

en relaties leggen tussen gegevens. Het CHC-kader en XBA bieden een meer psychometrisch en

theoretisch verantwoorde houvast dan een louter intuïtief gebruiken van deze gegevens. CHC-

gegevens moeten kaderen binnen een diagnostisch traject (bv. HGD). Observatiegegevens,

intakegegevens, andere testgegevens en een klinisch oordeel zijn even belangrijk. M.a.w., ga

steeds de ecologische validiteit na van de testresultaten en maak hiervoor o.a. gebruik van de

empirische evidentie vanuit het CHC-model over correlaties tussen cognitieve vaardigheden en

schoolse vaardigheden.

XBA-principes (Flanagan, D.P., Alfonso V.C. & Ortiz, S.O., 2013; Magez, W. & De Cleen, W., 2007; Magez, W., 2010)

1. Selecteer één intelligentietest als kern van de batterij

Vlaanderen: WPPSI III, WISC III, KAIT, WAIS IV

Ga na welke BCV’s niet of ondervertegenwoordigd zijn

Page 2: Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten zijn in het ... Gs en Ga. Een totaal-IQ moet een schatting blijven van de G-factor.

CAPvzw 06/2013

2

Vul deze basisbatterij aan met subtests volgens onderstaande principes wanneer een BCV niet of

ondervertegenwoordigd of op basis van de diagnostische vraagstelling:

1. Bereken enkel een totaal IQ wanneer er minimaal 4 brede cognitieve vaardigheden worden

gemeten, waaronder Gf en Gc.

2. Zorg voor een evenwichtige vertegenwoordiging van BCV’s (aantal subtests) in het totaal-IQ.

Welke subtests opgenomen worden in het totaal-IQ mag niet afhankelijk zijn van de

diagnostische vraagstelling; dit moet vastliggen vóór het onderzoek (eenvormigheid binnen

een bepaalde werksetting verdient de voorkeur). Het moet gaan om zinvolle gewichten

volgens het CHC-model: d.w.z. dat bv. Gf en Gc sterker vertegenwoordigd moeten zijn in het

totaal-IQ dan bv. Gs en Ga. Een totaal-IQ moet een schatting blijven van de G-factor.

Dit betekent dat niet alle afgenomen subtests steeds worden opgenomen in het

totaal-IQ; zo zou men bv. een oververtegenwoordiging kunnen krijgen van BCV's

waarover men omwille van bepaalde hypotheses meer problemen vermoedt.

3. Gebruik een classificatie van subtests die steunt op factoranalyse of een consensus van

expertoordelen:

Gebruik subtests met een zo zuiver mogelijke lading op een BCV

Gebruik indien mogelijk subtests die 2 of meer verschillende NVC’s

vertegenwoordigen

2 subtests is voldoende en vormt een goede balans (tijd/validiteit) om een BCV te

berekenen

4. Gebruik zo veel mogelijk, bijkomende subtests afkomstig uit zo weinig mogelijk

verschillende tests om een BCV-index te berekenen:

gebruik indien mogelijk een cluster uit één andere test, zodat je de normen daarvan

kan gebruiken (bv. CELF-WGI-index i.p.v. Cijferreeksen WISC III aanvullen met één

andere subtest uit CELF)

Kies subtests uit eenzelfde recente normeringsperiode om geen valse effecten te

bekomen die te wijten zijn aan het Flynn-effect

Selecteer subtests van een zo klein mogelijk aantal tests om de effecten te wijten aan

de verschillende normeringsgroepen zo klein mogelijk te houden. Kies steeds voor

Vlaamse normen.

5. Gebruik voor alle subtests eenzelfde soort standaardscores (eventueel omzetten via

tabel); integreer enkel AU-uitslagen van subtests die een normale verdeling hebben, dit

betekent dat men bv. niet zo maar automatisch percentielen kan omzetten in afgeleide

uitslagen met gemiddelde 10 en SD 3.

6. Aanvankelijk werd gewerkt met gemiddelden van AU van subtests. Gemiddelden om BCV’s te

berekenen wordt volgens recente inzichten beter niet meer gebruikt. Het belang van het

gebruik van factor- en indexscores uit testhandleidingen wordt benadrukt. In het

Amerikaanse XBA-systeem wordt nu gewerkt met een berekeningsmethode die gebaseerd is

op schattingen van subtestbetrouwbaarheid en subtestcorrelaties, afgeleid uit een

uitgebreide evaluatie van o.a. testhandleidingen. In Vlaanderen beschikken wij niet over deze

gegevens. Deze recente werkwijze wordt psychometrisch het best benaderd (W. Magez,

ondersteuning CHC-batterij VCLB De Wissel, 2010) wanneer BCV- indexen berekend worden

aan de hand van de (geschatte) som van de AU van de subtests (rekening houdend met

Page 3: Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten zijn in het ... Gs en Ga. Een totaal-IQ moet een schatting blijven van de G-factor.

CAPvzw 06/2013

3

aantal subtests waarop de som in de tabel is gebaseerd). De BCV-index zoekt men op in de

tabel waarbij de BCV het beste aansluit:

voor Gf: PO-index of PIQ (Wechslerschalen) of Gf-index (KAIT)

voor Gc: VB-index of VIQ (Wechslerschalen) of Gc-index (KAIT)

voor Gv: PO-index of PIQ (Wechslerschalen) of Gf-index (KAIT)

voor Gsm, Ga en Glr : WG-index CELF of WG-index WAIS IV

voor Gs: VS-index (Wechslerschalen)

Deze werkwijze loopt parallel aan de werkwijze die gebruikt wordt om het totaal-IQ te

berekenen (W. Magez, 2010).

7. Men berekent enkel een BCV-index bij interne consistentie: de betrouwbaarheidsintervallen

van 2 subtests overlappen of raken elkaar (bij afname van 2 of 3 subtests). Bij afname van 4

of 5 subtests moeten minstens 3 subtests elkaar overlappen of raken. Men werkt voldoende

nauwkeurig wanneer men betrouwbaarheidsintervallen bepaalt door 2 AU-punten bij te

tellen en af te trekken bij de bekomen AU-score.

8. Een totaal IQ berekent men door de (geschatte) som van de AU van de subtests (vóór het

onderzoek gekozen) op te zoeken in de TIQ-tabel van de handleiding van de kerntest en/of

van de test die het beste aansluit bij het aantal afgenomen subtests (W. Magez, 2010).

9. Maak een intra-individuele en interindividuele profielanalyse.

Dezelfde gedachtegang kan gevolgd worden voor het uitdiepen van NCV’s.

Wanneer men omwille van de diagnostische vraagstelling geen of weinig onderzoek doet naar

BCV's die een belangrijk onderdeel uitmaken van het totaal-IQ (bv. Gc en Gf), berekent men géén

totaal-IQ. Intra-individuele analyse wordt dan moeilijk. Het verdient aanbeveling om ook hier in

de mate van het mogelijke te starten vanuit één kerntest.

Men zal omwille van de diagnostische vraagstelling soms méér subtests afnemen binnen een

bepaalde BCV, dan men opneemt in het totaal-IQ. De principes 3. t.e.m. 7. blijven hierbij ook

geldig. Het veronderstelt een goede kennis van het model zodat men een zo evenwichtig

mogelijke vertegenwoordiging krijgt van NCV’s. Alle afgenomen subtests worden steeds

meegenomen in de BCV-berekening. Dit betekent dat binnen één onderzoek, de samenstelling

van het totaal IQ en de samenstelling van een BCV-index niet steeds volledig zullen overlappen.

Het is duidelijk dat het zelf keuzes maken van subtests voldoende kennis veronderstelt van de

XBA-principes en de subtestkenmerken (betrouwbaarheid, validiteit, normgegevens, lading

binnen een BCV of NCV, …).

Wanneer men niet kan voldoen aan de XBA-principes, berekent men beter geen indexen of totaal-IQ. Het CHC-model kan dan nog steeds dienen als denkkader waarbinnen de testgegevens geïnterpreteerd worden.

Opmerking: het verdient aanbeveling om bij verslaggeving een tekst zoals hieronder te vermelden (vrij vertaald naar en gedeeltelijk overgenomen van: Flanagan, 2013) “De testresultaten in dit verslag werden samengesteld op basis van tests die genormeerd zijn op verschillende normgroepen. De resultaten zijn geïnterpreteerd volgens de principes van de cross-batterij benadering. Tenzij anders vermeld, kunnen de resultaten van dit onderzoek beschouwd worden als een betrouwbare en valide schatting van de vaardigheden en capaciteiten van de leerling op dit ogenblik.”