SQP: Survey Quality PredictorHet verbeteren van survey-vragen

Dr. Ing. William van der VeldUniversiteit van NijmegenOntwikkelingspsychologie/BSI

Voordracht: NPSO, Amsterdam, juni 2011Het Testen van Vragenlijsten

Inleiding

Waar maken we ons druk om vandaag?

Het kan altijd beter en efficiënter.

Hoe krijgen we meer respondenten met minder inspanning?

Hoe zorgen we ervoor dat ‘ze’ alles beantwoorden (routing/NA)

Hoe zorgen we ervoor dat ‘ze’ dat doen met zo weinig mogelijk fouten?

Inleiding

SQP richt zich op het minimaliseren van fouten in de antwoorden.

De zogenoemde meetfouten.

Meetfouten kun je niet meten, maar ze zijn er wel.

Je kunt vrij eenvoudig de gevolgen van meetfouten waarnemen.

De invloed van de meetfout kan worden geschat met statistische modellen.

Waarom zouden we dat willen schatten?

Meetfouten zeggen iets over de kwaliteit van het meetinstrument, bijv. de betrouwbaarheid.

Inleiding

In de meeste studies aandacht voor: Cronbach’s Alpha.

CA = de betrouwbaarheid van een schaal of batterij vragen.

Het idee achter CA is vrij simpel formuleer een set vragen die allen hetzelfde meten, bijvoorbeeld spinnenangst.

1. Ik ben bang voor spinnen 2. Als ik een spin zie word ik nerveus en gaat m'n hart sneller kloppen 3. Ik vind het leuk om naar plekken te gaan waar spinnen zijn 4. Als ik een spin zie ren ik weg 5. Ik vind het niet prettig dat ik bang ben voor spinnen 6. Ik heb een afkeer van spinnen

De betrouwbaarheid (CA) wordt afgeleid door de correlatie tussen de antwoorden te bestuderen.

Inleiding

Voor de ‘spinnenangst’ schaal is de betrouwbaarheid: 0.83[0 is heel slecht en 1 is het allerbeste]

De betrouwbaarheid is dus 0.83 wat betekent dat de meetfout 0.17 is.

Een nettere formulering is dat 83% van de variantie in de schaalscore wordt verklaard door spinnenangst en 17% door meetfouten.

Is dat nou zo erg een beetje meetfouten?

Inleiding

Regeringspartij met 30 zetels.

20 van de 30 in lijn met partijstandpunt

10 van de 30 min of meer willekeurig

Die 10 zetels (=33%) kunnen worden gezien als de meetfout in het stemgedrag van die partij en ze zorgen voor een aanzienlijke onzekerheid. Een onwenselijke situatie waarop je geen beleid kunt bouwen.

Elke politieke partij onderkend zo’n probleem en onderneemt actie.

Survey onderzoekers en hun opdrachtgevers kunnen dat ook doen. Ze kunnen de meetfout ook reduceren door verbeteringen aan te brengen in het meetinstrument.

Inleiding Meetinstrument spinnenangst (Cronbach’s alpha = 0.83):

spin1 Ik ben bang voor spinnen spin2 Als ik een spin zie word ik nerveus en gaat m'n hart sneller kloppen spin3 Ik vind het leuk om naar plekken te gaan waar spinnen zijn spin4 Als ik een spin zie ren ik weg spin5 Ik vind het niet prettig dat ik bang ben voor spinnen spin6 Ik heb een afkeer van spinnen

De hamvraag: Kan het beter? Verbetering mogelijk: item verwijderen/toevoegen).

spin1 0.76 spin2 0.77 spin3 0.85 spin4 0.78 spin5 0.89 spin6 0.81

Kenmerken van het meetinstrument aanpassen leidt tot een andere betrouwbaarheid.

Cronbach’s alpha if item deleted.

Kenmerken van een survey-vraag

Veel meetinstrumenten bestaan echter uit 1 enkele survey-vraag.

Wat zijn hier de kenmerken die de kwaliteit beïnvloeden?

De kenmerken komen direct voort uit de beslissingen die we impliciet en expliciet nemen bij het formuleren van de vraag.

Saris & Gallhofer (2007, H1-H8) hebben al deze kenmerken systematisch beschreven en gecategoriseerd op basis van literatuur uit de survey methoden, psychologie, en linguïstiek.

Kenmerken/Impliciete en expliciete beslissingen Domain Concept Social Desirability Centrality Reference period Question formulation: basic choice Use of stimulus or statement in the question Use of gradation Absolute or comparative judgment Balance of the request Presence of a exhortation to answer Emphasis on subjective opinion in request Information about opinion of other people Response scale: basic choice Labels of categories Kind of labels Neutral or middle category Full theoretical range of the scale Correspondence between labels and numbers Symmetry of response scale Order of labels Number of fixed reference points

Number of categories Don't know possibility Question form Instruction for the respondent available? Instruction for the interviewer available? Extra motivation, info or definition available? Introduction available? Knowledge provided Number of sentences in the question Number of words in question Mean number of words per sentence in question Mean number of syllables per word in question Number of subordinate clauses in the question Total number of nouns in question Number of abstract nouns in question Mode of data collection Interviewer administered or self completion Presentation of information Item placed in battery Position of the item in the questionnaire Language used in the questionnaire

Kenmerken van een survey-vraag Concept (impliciete beslissing). Hiermee bedoelen we of de vraag een van de volgende concepten meet:

Evaluative belief Feeling Importance Future expectations Behavior Complex concepts Other concepts (a.o. consumption, leisure)

Evaluative belief:De bezuinigingsmaatregelen hebben geleid tot economische achteruitgang.

Feeling:Ik vind de bezuinigingsmaatregelen slecht.

Importance:Ik vind bezuinigingsmaatregelen belangrijk.

Behavior:Ik heb tegen de bezuinigingsmaatregelen gestemd.

Kenmerken van een survey-vraag Response scale: basic choice (expliciete beslissing). Hiermee bedoelen we de keuze voor het soort antwoordschaal

Yes/No Frequency Magnitude Line production More steps Category

Hoe bepalen we nu of we beter een ja/nee-schaal of een categorieschaal kunnen gebruiken?

Met andere woorden hoeveel stijgt of daalt de betrouwbaarheid van de vraag indien we een categorieschaal kiezen boven een ja/nee-schaal.

30 Jaar gericht onderzoek.

Kenmerken van een survey-vraag

Vertrekpunt van het onderzoek:

Voor elke vraag kunnen we de kwaliteit (betr. en val.) schatten. Dat levert een getal/score voor de kwaliteit op tussen 0 en 1. Voor elke vraag kunnen we de kenmerken (ruim 40) vaststellen. Met een regressie analyse kunnen we het effect van een kenmerk op de

kwaliteit schatten.

betrouwbaarheid = a + b21D21 + … + b12D12 + … + b3Ncat + … + … + e Dij zijn dummies, bijvoorbeeld nationale politiek (1) of niet (0).

De geschatte effecten (bij) geven informatie of een kenmerk een positieve of negatieve invloed heeft op de kwaliteit.

Zo kunnen we o.m. afleiden of labels op de uiteinden beter is dan overal labels.

Zo’n analyse is uitgevoerd voor 1067 vragen (Saris & Gallhofer, 2007) voor 3 verschillende talen.

Effect kenmerken op de kwaliteitTable 11.1: continued _____________________________________________________________________________ Variables Number of Effect on reliability Effect on validity measures Effect se sign effect se sign _____________________________________________________________________ Concepts Evaluative belief (0-1) 96 6.1 14.0 .669 13.8 12.3 .260 Feeling (0-1) 110 -4.2 10.9 .704 -7.5 9.4 .427 Importance (0-1) 96 35.9 15.6 .021 18.6 13.6 .171 Future expectations (0-1) 39 2.6 24.0 .913 -9.0 20.6 .662 Facts:background (18) Behavior (9) (0-1) 27 -126.2 21.8 .000 -150.5 19.2 .000 Complex concepts * -72.3 17.4 .000 -47.2 15.2 .002 Other concepts 578 0.0 - - 0.0 - -

Effect kenmerken op de kwaliteitTable 11.1: continued_____________________________________________________________________________

Variables Number of Effect on reliability Effect of validity measures Effect se sign effect se sign

_____________________________________________________________________

Response scale : Basic choiceYes/no (0-1) 3 -22.2 19.5 .254 -1.9 17.1 .911Frequencies 23 120.8 24.8 .000 -95.9 21.5 .000Magnitudes 169 116.2 20.8 .000 -115.5 18.3 .000Lines 201 118.1 20.9 .000 -32.7 18.2 .073More steps 26 48.7 27.3 .075 24.5 23.5 .297Categories 630 0.0 - - 0.0 - -

SQP: de survey quality predictor

Hoe kunnen we deze nuttige informatie gebruiken?

Neem 1 kenmerk, bijvoorbeeld ‘Response Scale: Basis Choice’.

‘Lines’ zorgt voor een hogere kwaliteit dan ‘Category’.

Het effect wordt geschat onder constanthouding van de andere kenmerken van de vraag.

Die andere kenmerken kunnen in de praktijk echter niet constant gehouden worden als je overstapt van het ene naar het andere antwoordformaat.

Dus het is niet mogelijk om slechts naar 1 kenmerk te kijken.

Dus alle kenmerken van de vraag coderen.

SQP: de survey quality predictor

Te veel werk: coderen, optellen, zoeken naar verbeterpunten

Coderen: Automatisch coderen (van der Veld & Saris, 2001) Semi-automatisch coderen (Oberski, Kuipers, Saris, 2004)

Optellen: De schattingen zitten in de software en zijn aan de categorieën gekoppeld.

Dus gebeurt automatisch.

SQP helpt om:1. de kwaliteit van ‘nieuwe’ vragen te voorspellen, 2. alternatieven te beoordelen,3. suggesties voor verbeteringen te krijgen.

Een illustratie.

Samenvatting

The purpose of the SQP program is to provide the user with a convenient method grounded in existing knowledge of the effects of survey item characteristics on the quality of survey items. (Saris & Gallhofer, 2007, p. 275).

Het coderen van de survey-vragen kost tijd.

Daar staat tegenover dat we de kwaliteit van survey vragen kunnen verbeteren nog VOORDAT de data verzameld wordt (kosten-baten).

Na wat training gaat het coderen redelijk snel.

Conclusie

SQP maakt van vragenlijstontwerp een wetenschappelijke onderneming.Was dat dan eerder niet zo?

Samenvatting

Stanley Payne (1951). The Art of Asking Questions.

"the reader will be disappointed if he expects to find here a set of definite rules or explicit directions. The art of asking questions is not likely ever to be reduced to some easy formulas (p. xi)."

Vandaag: Saris c.s. √(reliability) = .825 + .0528 N + .0294 I + .0169 H + .0214 B -.0768 L -.0669 OS +

.0128 W + .006 EB -.004 F + .036 IM +.0026 FE - .126 FB -.072 CC + etc.

Werkt het altijd en overal? Veronderstelling:

Respondenten begrijpen de vraag en kunnen die linken aan relevante informatie.

Dat gaat echter niet altijd goed: ‘Hoeveel eieren zitten er in een dozijn?”