Download - Waarmee meet je?

Transcript
Page 1: Waarmee meet je?

Waarmee meet je?Waarmee meet je?

Kwaliteit van meetinstrumenten

Page 2: Waarmee meet je?

Kwaliteitscriteria

• Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit)

• Normgegevens• Reproduceerbaarheid / betrouwbaarheid• Validiteit • Responsiviteit (onderdeel van validiteit) / bodem- en

plafondeffecten• Feasibility

KNGF-10KNGF-10

Page 3: Waarmee meet je?

Betrouwbaarheid van meetinstrumenten

• Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar

• Verschillende testen na elkaar moeten dezelfde resultaten geven

• Nooit valide als hij niet betrouwbaar is• Wel betrouwbaar maar niet valide

Page 4: Waarmee meet je?

A B

C D

X

X

X X

Page 5: Waarmee meet je?

Oorzaken van meetfouten

1. Subject : motivatie, stemming, vermoeidheid, geheugen, …

2. Testen : heldere instructies, bijkomende richtlijnen, …

3. Scoring : competentie, ervaring, toewijding, … van scorers

4. Instrumentarium : fouten bij het toestel of bij de codering

Page 7: Waarmee meet je?

Validiteit van instrumenten

• Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten

• Belangrijkste criterium = degelijkheid van de test

Page 8: Waarmee meet je?
Page 9: Waarmee meet je?

‘Face’ en ‘content’ validiteit

‘Face’ validiteit– Is het aannemelijk dat de items het bedoeld begrip

meten?

‘Content’ validiteit – Komen alle relevante dimensies aan bod en zijn er geen

overbodige items

KNGF-14KNGF-14

Page 10: Waarmee meet je?

Construct validiteit

• Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, …

• Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag

• Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd

Page 11: Waarmee meet je?

Construct validiteit

• Geen gouden standaard• Vergelijking met andere instrumenten• Opstellen van hypothesen

– overeenkomst met soortgelijke instrumenten (convergent)

– geen overeenkomst met andersoortige instrumenten (divergent)

– Verschillen tussen groepen (discriminant)

KNGF-16KNGF-16

Page 12: Waarmee meet je?

Criterium validiteit

• Instrumenten worden gevalideerd ten opzichte van een criterium

Page 13: Waarmee meet je?

• Correlatie van het instrument met een criterium op zelfde moment

• Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties

Page 14: Waarmee meet je?

Generaliseren van validiteit

• Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld

• Andere leeftijd, geslacht, SES ?

• Verschillende studies nodig die predictor – criterium combineren

Page 15: Waarmee meet je?

Validiteit diagnostische tests

• Sensitiviteit• Specificiteit• Predictive value/likelihood ratio etc

Page 16: Waarmee meet je?

Ziekte aanwezig

Ziekte afwezig

Test Positief Terecht positief

A

Fout-positief

B

A+B

Test Negatief Fout-negatief

C

terecht-negatief

D

C+D

A+C B+D

Sensitiviteit = A/(A+C)= % terecht ziek verklaard

Specificiteit: D/(B+D) = % terecht niet-ziek verklaard

Page 17: Waarmee meet je?

Diabetes aanwezig

Diabetes afwezig

> 100 mg/ml 225

A

225

B

A+B

<100 mg/ml 25

C

525

D

C+D

250 750

Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek)

Specificiteit= D/(B+D) =525/750= 70% terecht niet-ziek

Page 18: Waarmee meet je?

sensitiviteit

(echt positief)

1-specificiteit

(fout positief)

0 1.0

1.0 ROC curve

Page 19: Waarmee meet je?
Page 20: Waarmee meet je?

Responsiviteit

• Kan het instrument veranderingen aantonen als die optreden?

• Laat het instrument géén veranderingen zien bij de mensen die stabiel blijven?

•Bodem of plafondeffecten?

KNGF-21KNGF-21

Page 21: Waarmee meet je?

Feasibility

• Taal• Benodigdheden• Randvoorwaarden• Tijd• handleiding