Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten...
Transcript of Psychometrische principes crossbattery-benadering (XBA) · Gf en Gc sterker vertegenwoordigd moeten...
CAPvzw 06/2013
1
Psychometrische principes crossbattery-benadering (XBA)
Waarom XBA?
De XBA-methode heeft een belangrijke meerwaarde:
- ze waarborgt bij intelligentiemeting een brede en evenwichtige vertegenwoordiging van
cognitieve vaardigheden volgens het CHC-model. Intelligentiemeting is zo gebaseerd op een
empirisch ondersteund model.
- onder- of oververtegenwoordiging van BCV’s en NCV’s binnen één test kunnen weggewerkt
worden
- de methode beschermt tegen foutieve interpretaties van construct-irrelevante variantie
binnen schaalscores en subtestscores, bv. binnen het VIQ van de oude WISC III (Rekenen en
Cijferreeksen) of bv. Onvolledige Tekeningen als zuivere PO-indicator
- ze voorkomt dat men verregaande interpretaties doet op basis van één subtest
Welke principes moet men volgen bij XBA?
Flanagan et all. ontwierpen na jaren studiewerk en ervaring (> 1997) een XBA-benadering die
psychometrisch en theoretisch verantwoord is. XBA volgens hun principes geeft de
psychometrisch best onderbouwde beoordeling van de cognitieve vaardigheden van een
leerling, binnen de grenzen van praktische beperkingen (bv. tijd en beschikbaarheid van tests) en
de diagnostische vraagstelling. Zij stellen dat het niet realistisch en niet nodig is om te wachten
op de constructie van één instrument dat alle vaardigheden meet, genormeerd op één
representatieve Amerikaanse populatie. Wanneer men hun principes systematisch volgt, zijn
fouten te wijten aan de XBA-benadering te verwaarlozen. Bij hun meest recente publicaties
werden een aantal aspecten van de methodiek verder verfijnd. In Vlaanderen moeten we
bijkomend rekening houden met beperkingen van het beschikbare materiaal. De basis van de
psychometrische benadering in Vlaanderen werd verder uitgewerkt in de CAP-publicatie van
2007, aangevuld in 2010 (CHC-platform) en binnen CAP-overleg van 2013.
“De testinstrumenten zijn niet bedoeld om zo te gebruiken?”
Wij stellen een diagnose: een diagnose stellen betekent steeds een samenbrengen, vergelijken
en relaties leggen tussen gegevens. Het CHC-kader en XBA bieden een meer psychometrisch en
theoretisch verantwoorde houvast dan een louter intuïtief gebruiken van deze gegevens. CHC-
gegevens moeten kaderen binnen een diagnostisch traject (bv. HGD). Observatiegegevens,
intakegegevens, andere testgegevens en een klinisch oordeel zijn even belangrijk. M.a.w., ga
steeds de ecologische validiteit na van de testresultaten en maak hiervoor o.a. gebruik van de
empirische evidentie vanuit het CHC-model over correlaties tussen cognitieve vaardigheden en
schoolse vaardigheden.
XBA-principes (Flanagan, D.P., Alfonso V.C. & Ortiz, S.O., 2013; Magez, W. & De Cleen, W., 2007; Magez, W., 2010)
1. Selecteer één intelligentietest als kern van de batterij
Vlaanderen: WPPSI III, WISC III, KAIT, WAIS IV
Ga na welke BCV’s niet of ondervertegenwoordigd zijn
CAPvzw 06/2013
2
Vul deze basisbatterij aan met subtests volgens onderstaande principes wanneer een BCV niet of
ondervertegenwoordigd of op basis van de diagnostische vraagstelling:
1. Bereken enkel een totaal IQ wanneer er minimaal 4 brede cognitieve vaardigheden worden
gemeten, waaronder Gf en Gc.
2. Zorg voor een evenwichtige vertegenwoordiging van BCV’s (aantal subtests) in het totaal-IQ.
Welke subtests opgenomen worden in het totaal-IQ mag niet afhankelijk zijn van de
diagnostische vraagstelling; dit moet vastliggen vóór het onderzoek (eenvormigheid binnen
een bepaalde werksetting verdient de voorkeur). Het moet gaan om zinvolle gewichten
volgens het CHC-model: d.w.z. dat bv. Gf en Gc sterker vertegenwoordigd moeten zijn in het
totaal-IQ dan bv. Gs en Ga. Een totaal-IQ moet een schatting blijven van de G-factor.
Dit betekent dat niet alle afgenomen subtests steeds worden opgenomen in het
totaal-IQ; zo zou men bv. een oververtegenwoordiging kunnen krijgen van BCV's
waarover men omwille van bepaalde hypotheses meer problemen vermoedt.
3. Gebruik een classificatie van subtests die steunt op factoranalyse of een consensus van
expertoordelen:
Gebruik subtests met een zo zuiver mogelijke lading op een BCV
Gebruik indien mogelijk subtests die 2 of meer verschillende NVC’s
vertegenwoordigen
2 subtests is voldoende en vormt een goede balans (tijd/validiteit) om een BCV te
berekenen
4. Gebruik zo veel mogelijk, bijkomende subtests afkomstig uit zo weinig mogelijk
verschillende tests om een BCV-index te berekenen:
gebruik indien mogelijk een cluster uit één andere test, zodat je de normen daarvan
kan gebruiken (bv. CELF-WGI-index i.p.v. Cijferreeksen WISC III aanvullen met één
andere subtest uit CELF)
Kies subtests uit eenzelfde recente normeringsperiode om geen valse effecten te
bekomen die te wijten zijn aan het Flynn-effect
Selecteer subtests van een zo klein mogelijk aantal tests om de effecten te wijten aan
de verschillende normeringsgroepen zo klein mogelijk te houden. Kies steeds voor
Vlaamse normen.
5. Gebruik voor alle subtests eenzelfde soort standaardscores (eventueel omzetten via
tabel); integreer enkel AU-uitslagen van subtests die een normale verdeling hebben, dit
betekent dat men bv. niet zo maar automatisch percentielen kan omzetten in afgeleide
uitslagen met gemiddelde 10 en SD 3.
6. Aanvankelijk werd gewerkt met gemiddelden van AU van subtests. Gemiddelden om BCV’s te
berekenen wordt volgens recente inzichten beter niet meer gebruikt. Het belang van het
gebruik van factor- en indexscores uit testhandleidingen wordt benadrukt. In het
Amerikaanse XBA-systeem wordt nu gewerkt met een berekeningsmethode die gebaseerd is
op schattingen van subtestbetrouwbaarheid en subtestcorrelaties, afgeleid uit een
uitgebreide evaluatie van o.a. testhandleidingen. In Vlaanderen beschikken wij niet over deze
gegevens. Deze recente werkwijze wordt psychometrisch het best benaderd (W. Magez,
ondersteuning CHC-batterij VCLB De Wissel, 2010) wanneer BCV- indexen berekend worden
aan de hand van de (geschatte) som van de AU van de subtests (rekening houdend met
CAPvzw 06/2013
3
aantal subtests waarop de som in de tabel is gebaseerd). De BCV-index zoekt men op in de
tabel waarbij de BCV het beste aansluit:
voor Gf: PO-index of PIQ (Wechslerschalen) of Gf-index (KAIT)
voor Gc: VB-index of VIQ (Wechslerschalen) of Gc-index (KAIT)
voor Gv: PO-index of PIQ (Wechslerschalen) of Gf-index (KAIT)
voor Gsm, Ga en Glr : WG-index CELF of WG-index WAIS IV
voor Gs: VS-index (Wechslerschalen)
Deze werkwijze loopt parallel aan de werkwijze die gebruikt wordt om het totaal-IQ te
berekenen (W. Magez, 2010).
7. Men berekent enkel een BCV-index bij interne consistentie: de betrouwbaarheidsintervallen
van 2 subtests overlappen of raken elkaar (bij afname van 2 of 3 subtests). Bij afname van 4
of 5 subtests moeten minstens 3 subtests elkaar overlappen of raken. Men werkt voldoende
nauwkeurig wanneer men betrouwbaarheidsintervallen bepaalt door 2 AU-punten bij te
tellen en af te trekken bij de bekomen AU-score.
8. Een totaal IQ berekent men door de (geschatte) som van de AU van de subtests (vóór het
onderzoek gekozen) op te zoeken in de TIQ-tabel van de handleiding van de kerntest en/of
van de test die het beste aansluit bij het aantal afgenomen subtests (W. Magez, 2010).
9. Maak een intra-individuele en interindividuele profielanalyse.
Dezelfde gedachtegang kan gevolgd worden voor het uitdiepen van NCV’s.
Wanneer men omwille van de diagnostische vraagstelling geen of weinig onderzoek doet naar
BCV's die een belangrijk onderdeel uitmaken van het totaal-IQ (bv. Gc en Gf), berekent men géén
totaal-IQ. Intra-individuele analyse wordt dan moeilijk. Het verdient aanbeveling om ook hier in
de mate van het mogelijke te starten vanuit één kerntest.
Men zal omwille van de diagnostische vraagstelling soms méér subtests afnemen binnen een
bepaalde BCV, dan men opneemt in het totaal-IQ. De principes 3. t.e.m. 7. blijven hierbij ook
geldig. Het veronderstelt een goede kennis van het model zodat men een zo evenwichtig
mogelijke vertegenwoordiging krijgt van NCV’s. Alle afgenomen subtests worden steeds
meegenomen in de BCV-berekening. Dit betekent dat binnen één onderzoek, de samenstelling
van het totaal IQ en de samenstelling van een BCV-index niet steeds volledig zullen overlappen.
Het is duidelijk dat het zelf keuzes maken van subtests voldoende kennis veronderstelt van de
XBA-principes en de subtestkenmerken (betrouwbaarheid, validiteit, normgegevens, lading
binnen een BCV of NCV, …).
Wanneer men niet kan voldoen aan de XBA-principes, berekent men beter geen indexen of totaal-IQ. Het CHC-model kan dan nog steeds dienen als denkkader waarbinnen de testgegevens geïnterpreteerd worden.
Opmerking: het verdient aanbeveling om bij verslaggeving een tekst zoals hieronder te vermelden (vrij vertaald naar en gedeeltelijk overgenomen van: Flanagan, 2013) “De testresultaten in dit verslag werden samengesteld op basis van tests die genormeerd zijn op verschillende normgroepen. De resultaten zijn geïnterpreteerd volgens de principes van de cross-batterij benadering. Tenzij anders vermeld, kunnen de resultaten van dit onderzoek beschouwd worden als een betrouwbare en valide schatting van de vaardigheden en capaciteiten van de leerling op dit ogenblik.”