Het Pretesten van vragenlijsten in de dagelijkse praktijkNPSO 17 mei – Henk Foekema

Pilot versus pretest

Het testen van vragenlijsten in de dagelijkse praktijk >

Technische fouten – inhoudelijke fouten

Technische fouten Opvallend

Inhoudelijke fouten Minder opvallend

3

Het testen van vragenlijsten in de dagelijkse praktijk >

Pretesten bij online en schriftelijke enquêtes belangrijker dan bij CAPI/CATI?

4

Het testen van vragenlijsten in de dagelijkse praktijk >

Pretesten ten aanzien van tijdsduur

Belangrijk voor:

respondent

enquêteur

opdrachtgever

bureau

respons

5

Het testen van vragenlijsten in de dagelijkse praktijk >

Belangrijkste tips bij testen: gebruik je gezonde verstand

Lees een vragenlijst goed door

Kijk door de bril van je doelgroep!

Neem opmerkingen van dataprocessors en veldwerkmensen heel serieus

6

Het testen van vragenlijsten in de dagelijkse praktijk >

Hoe de vragenlijsten te testen

Goed tegenlezen

Met behulp van kwalitatieve technieken

Met behulp van software

Met behulp van kwantitatieve technieken

7

Het testen van vragenlijsten in de dagelijkse praktijk >

Goed tegenlezen (1)

Onbegrijpelijke woorden, jargon?

Onhandige opzet?

Inschatting van de lengte

Gevoeligheid van onderwerp en vragen

Wel of niet randomiseren?

Vragen die (mogelijk) vergeten zijn?

Non respons codes?

Open vraag of voorcoderen?

8

Het testen van vragenlijsten in de dagelijkse praktijk >

Goed tegenlezen (2)

De fouten uit het boekje:

impliciete vragen

dubbele ontkenningen

twee vragen in één

sturende vragen

multi-interpretabele vragen

niet elkaar uitsluitende categorieën

niet aansluitende categorieën

9

Het testen van vragenlijsten in de dagelijkse praktijk >

Het testen van vragenlijsten in de dagelijkse praktijk

Kwalitatief onderzoek bij pretesten

Wanneer

(Volledig) nieuwe vragenlijst

Doelgroep waarin je je moeilijk kunt verplaatsen

Jargon, open deuren

Aanvullen van vragen, antwoordcategorieën

Gevoelige onderwerpen

Ook: testen van communicatie om onderzoek heen (aankondigingsbrieven etc.)

11

Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten

Voorbeeld

12

Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten

Werkwijze (1)

Single interviews

10 à 15 proefpersonen, soms minder

Meestal ca. 45 minuten

Soms: nadruk op lager opgeleiden

Recrutering: selectiebureau, database, opdrachtgever

Op het bureau (face-to-face) of telefonisch

13

Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten

Werkwijze (2)

Gehele vragenlijst of delen vragenlijsten?

Van te voren invullen of tijdens de pilot zelf?

Suggesties (laten) geven?

Fasering?

14

Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten

Uitdagingen bij kwalitatief pretesten

Niet het leukste type onderzoek voor de respondent

Voelt aan als een soort overhoring, test

Laagopgeleiden kijken tegen het onderzoek op; Experts kijken er wel eens op neer

Respondenten willen zich bewijzen

Belangrijk is samenspel tussen opdrachtgever, algemeen projectleider en kwalitatieve onderzoeker

15

Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten

Het testen van vragenlijsten in de dagelijkse praktijk

Software en het checken op technische fouten

Software en het checken op technische fouten

Dummy data

‘checkmodule’

Fasering bij het uitzetten

Eerste data meteen bekijken

Expliciet om opmerkingen en waardering vragen

17

Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten

Voorbeeld

18

Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten

Dummy data – bij ingewikkelde routing

Is routing correct

Geen lege velden

Correcte intervallen numerieke variabelen

Vragen met meervoudige antwoorden

Ook voor open vragen en half open vragen

Rekenkundige checks

19

Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten

Softwarematige checks

Overschrijvingen van kolommen

Ophalen van informatie uit andere delen van de vragenlijst

Te weinig posities voor het antwoord

Tijdsregistraties (tussentijden per onderdeel)

20

Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten

Kwantitatieve technieken

Vragenlijst zodanig inrichten dat alleen op de inhoudelijke begrijpelijkheid wordt gelet

Checken of een vragenlijst niet te gevoelig ligt of te belastend is

Werkt de vragenlijst (validatie)

Meeluisteren

21

Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten