College 3

Meten

Meten• Methode van meten

– Interview• Vragenlijst

– Test

– Observatie

• Kwaliteit van de meting– Validiteit

• Inhouds -• Criterium -• Construct -

– Betrouwbaarheid• Test-hertest -• Interne consistentie -• Inter-beoordelaars -

Vragenlijsten

• Rare factoren die de antwoorden beïnvloeden

Methode van vragen

• Vraag: “Voel je je wel eens eenzaam?”

• Interview: 80% ja

• Vragenlijst: 43% ja

Volgorde van vragen

• Vraag A: Geef een rapportcijfer voor de colleges

• Vraag B: Geef een rapportcijfer voor de syllabus

• Helft van de studenten versie AB

• Helft van de studenten versie BA

Richting van de vraag

• Positief: “Dit boek is goed gestructureerd”

• Negatief: “Dit boek is niet goed gestructureerd”

• Op een 7-puntsschaal (1 = zeer oneens, …, 7 = zeer eens)

• Positieve versie, gespiegeld: m = 2.55• Negatieve versie: m = 4.09

Antwoord-categorieën

• Vraag: Was u tevreden met de blokvorm?

Versie A Versie B

Ja 52,6% 26,5%

Nee 26,3% 73,5%

Geen mening

21,1%

Antwoordtendenties• Neiging om een bepaal antwoord te

geven, ongeacht de inhoud van de vraag.

Item Alternatieven %

I ja

onzeker

nee

60

16

24

II 1

2

3

4

11

27

48

14

Item Alternatieven %

III zeer tevreden

tevreden

Ontevreden

zeer ontevreden

24

45

16

15

IV eerste

tweede

derde

41

36

23

Instructie

“Probeer zo snel en nauwkeurig mogelijk te antwoorden”

Conclusie•We weten niet hoe mensen vragen beantwoorden.

•Rare factoren die meespelen:–Methode–Volgorde–Richting–Antwoordalternatieven–Antwoordtendenties–Instructie

Observatie

Problemen:

•Wat moet je observeren?

•Hoe moet je observeren?

•Hoe moet je beschrijven?

•Hoe moet je interpreteren?

Voorbeeld: Ekman & Friesen, 1978

•Een mens kan ± 5000 verschillende gelaatsexpressies maken.

•Video, slow-motion

•Nummers

•Betekenis opmaken uit de context.

A B C

D E F

Emotie

Walging =

Boosheid =

Vreugde =

Angst =

Bedroefdheid =

Verbazing =

C

E

F

A

D

B

Foto nr.

Observatoren natuurlijk - toegewezen

getraind - ongetraind

menselijk - automatisch

passief - participerend

verborgen - waarneembaar

een – meerdere

Methode direct – retrospectief Time sampling - event sampling

Responsies frequentie - duur - intensiteit

ratings - exacte categorieën

dichotoom - polytoom – open

neutrale categorie - geen neutrale

unipolair – bipolair

Gedrags-eenheden

stimulus & response - response only

structureel - functioneel - causaal

moleculair - molair

geobserveerd – geïnfereerd

exploratief - gededuceerd

eenvoudig - complex

natuurlijk - reductionistisch

positief – negatief

Combinaties representatief - niet representatief

veel – weinig items

één - meer dimensies

CRITERIUM VALIDITEIT

• Hoe goed kan de test de scores op een gekozen criterium variabele voorspellen?

• Belangrijkste ondervorm: Predictieve validiteit, het criterium ligt in de toekomst.

• De criterium-variabele moet al goed gemeten zijn

Voorbeeld criterium validiteit

Diagnosis

Predicted

Total

Schizophrenia Depression

Schizophrenia 11 4 15

Depression 4 12 16

74,2% correct voorspeld

• Test = SPQ

• Criterium = diagnose (schizofreen / depressief)

• correct "voorspeld" = 74.2%

• (zonder kennis kun je al 50% correct voorspellen)

• Is de SPQ hierom een goede of een slechte test?

• Zijn de diagnoses zelf wel valide?

INHOUDS VALIDITEIT

• Zijn de items een evenwichtige afspiegeling van het soort items dat de test zou mogen bevatten?

• Om de inhouds validiteit te bepalen hoeft de test niet te worden afgenomen bij proefpersonen. Je hoeft alleen te weten hoe hij geconstrueerd is.

• Leunstoel validiteit. Vergelijk: Het kopen van een auto omdat hij er op de tekentafel zo goed uit ziet.

Voorbeeld inhoudsvaliditeit

• Test = statistiek tentamen– standaard- vs. inzichts-vragen– kennis- vs. redeneer-vragen– reken- vs. visualiseer-vragen– theorie- vs. praktijk-vragen– makkelijke vs. moeilijke vragen

CONSTRUCT VALIDITEIT

• In hoeverre begrijp je– door welke variabelen de testscores

worden beïnvloed– op welke variabelen de testscores invloed

hebben?

• APA: Daar moet je een theorie (nomologisch netwerk) voor hebben. De theorie moet zijn getoetst.

• Nomologisch netwerk: Geeft aan welke wetmatige relaties de diverse constructen met elkaar hebben.

• De meeste constructen (begrippen) die men wil meten zijn theoretische constructen (niet-waarneembaar). Zo'n construct kun je definiëren door middel van een nomologisch netwerk.

Voorbeeld construct validiteit

Piekeren

Prozac, Fevarin

Winter

Emotionele stabiliteit

Piekeren

Zwart-wit denken

Cognitieve psychotherapie

Automatische negatieve gedachten

Scheiding

X

Belangstelling

Besluiteloosheid

Huilen

Slapeloosheid

Eetlust

Suïcide

X

Voorbeeld construct validiteit

• Bij construct validiteit wordt de betekenis van het construct niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen.

• Hoe meer verbanden je kent, hoe beter je begrijpt wat er gemeten wordt.

• Criterium validiteit• één correlatie• moet zo hoog mogelijk

zijn• geen theorie nodig• gericht op voorspellen• hoge betrouwbaarheid

nodig• keuze van het criterium

is moeilijk

• Construct validiteit• meerdere verbanden• moeten sterk of juist

zwak zijn• gebaseerd op theorie• gericht op begrijpen• geen hoge

betrouwbaarheid nodig• formuleren van de

theorie is moeilijk