22-5-2012 Samantha Bouwmeester Responsie College Testtheorie

Click here to load reader

  • date post

    12-May-2015
  • Category

    Documents

  • view

    218
  • download

    3

Embed Size (px)

Transcript of 22-5-2012 Samantha Bouwmeester Responsie College Testtheorie

  • Dia 1
  • 22-5-2012 Samantha Bouwmeester Responsie College Testtheorie
  • Dia 2
  • 2 Lambda2 : Onderschatting van de betrouwaarheid (net als cronbachs alfa) maar iets hoger dan alfa. -Bij de IRF's is mij nog niet helemaal duidelijk hoe ik en of ik uberhaupt de verschillende parameters kan aflezen of bereken vanuit de grafiek. Hoe groter delta, des te moeilijker het item, des te hogere theta je nodig hebt om het item correct te maken. Hoe groter alfa, des te steiler de IRF, des te beter het item discrimineert.
  • Dia 3
  • 3 -Op collegesheet 17 van college 2 vraag ik mij af hoe ik de formule van de betrouwbare score moet invullen, en dan met name ''q''. deze verwarring komt ook terug in de formules die gegeven zijn op collegesheet 18 van college 2. Wanneer gebruik je nu precies ICCrandon-absolute en wanneer ICC fixed- consistency? Absolute: als je eist dat de scores van de beoordelaars exact overeenkomen. Consistency: als je eist dat de scores van de beoordelaars alleen een constante mogen verschillen Random: je wilt het resultaat generaliseren naar de populatie beoordelaar Fixed: je wilt het resultaat alleen gebruiken voor het betreffende onderzoek. - Het laatste deel van HS 6 gaat over de generaliseerbaarheid van metingen. Hier hebben ze het ook over universumscore etc, moeten we dit ook weten? Zo ja, zou u dit misschien uit kunnen leggen?
  • Dia 4
  • In HS 2 gaat het laatste stukje over averechtse diagnostiek, ook hierbij valt bij mij het kwartje nog niet helemaal, zelfs niet ad hand van het voorbeeld wat in het boek staat. Is het mogelijk dat je morgen het verschil uitlegt tussen Factor Analyse en de PCA? Daarnaast blijven de verschillende soorten validiteiten voor mij onduidelijk. Tot slot begrijp ik niet goed wat ze met het universum bedoelen. 4
  • Dia 5
  • Ik had een vraag over de Fleiss kappa. We hebben niet veel aandacht hieraan besteed en de formule in het blokboek is best lastig om te onthouden. Moeten we dit kunnen voor de bloktoets? En ik heb diezelfde vraag ook over het zelf berekenen van de item-rest correlatie. Verder begrijp ik nog niet zo goed wanneer je de attenuatiecorrectie moet toepassen en wat die precies meet. Waarom wordt de Spearman Brown formule ook gebruikt bij de splitsingsmethode? Ik snap hoe die wordt gebruikt bij verlenging/verkorting van tests, maar hoe zit dat bij de splitsingsmethode? Is de verlengingsfactor dan altijd 2, omdat het om twee helften gaat die even groot zijn? En is rxx geen onderdeel van rkk, omdat rxx al 'bestond' en rkk de nieuwe betrouwbaarheid is? Of is rxx de betrouwbaarheid van de eerste helft en rkk van de tweede helft? 5
  • Dia 6
  • 6 * Waarom is Cronbach's alfa nou precies de ondergrens van de betrouwbaarheid? En waarom is er bij een kleine steekproef een grotere kans op overschatting van de betrouwbaarheid? Even voor de duidelijkheid: een overschatting van de betrouwbaarheid houdt in dat het hoger en beter uitvalt/lijkt, dan het in werkelijkheid is toch? * Van de redenen waarom de predictieve validiteit laag kan zijn worden genoemd dat de betekenis van het criterium verschilt, afwijking van lineariteit/homoscedasticiteit en dat een enkele predictor wordt gebruikt voor het voorspellen van een meerdimensionaal criterium.. Heeft u misschien een voorbeeld bij deze redenen, want ik kan ze wel in m'n hoofd stampen maar ik begrijp niet helemaal wat ze betekenen.
  • Dia 7
  • Evaluatie van een test: Multi-trait Multi-method matrix b mm bm b dd dd dd Imp. Verl. Agr.Oordeel Onderwijzer Imp.Verl.Agr Oordeel Onderwijzer b mm bm b d d d d d d dd dd dd c c c c c c mm m b b b Imp. Verl. Agr. Observatie Imp.Verl. Agr. Observatie Imp. Verl. Agr.Vragenlijst Imp.Ver.Agr. Vragenlijst c c c c = convergente validiteit b = betrouwbaarheid d = discriminante validiteit m = methode variantie 7
  • Dia 8
  • Nota Bene! Alfa rxx Alfa is een ondergrens van de betrouwbaarheid. Dit betekent dat de werkelijke betrouwbaarheid in de populatie hoger is. Maaaaaar: steekproef alfa kan weer een overschatting zijn van de betrouwbaarheid. Grote steekproef (n=veel) s2 rxx s1 s3 s1 s2 s3 Dus: bij een kleine steekproef heb je grotere kans dat alfa een OVERSCHATTING is van de betrouwbaarheid! 0 1 01 8 Kleinere steekproef (n=beetje minder)
  • Dia 9
  • Item rest correlatie (corrected item total correlation) De correlatie tussen een item en de restscore van een test. Reststcore is de totaalscore van alle items minus de score van het item in kwestie. Stappen: 1.Bereken de standaarddeviatie van het item. 2.Bereken de standaarddeviatie van de Restscore 3.Bereken de covariantie tussen het item en de restscore 4.Vul alle gegevens in, in de formule van de correlatie. of 9
  • Dia 10
  • Validiteit en betrouwbaarheid X TxTx ExEx Omdat E nergens mee correleert is de maximale correlatie die X kan hebben met een andere variabele (zeg Y) gelijk aan de correlatie tussen X en T. 10
  • Dia 11
  • Attenuatiecorrectie X E E Y EyEy TxTx TYTY ExEx 11
  • Dia 12
  • Regressie naar het midden + + + T T T T T T T bloktoets 5.5