Testen en evalueren van vragenlijsten op het CBSPresentatie NPSO dag “Testen van Vragenlijsten” 17 mei 2011 Deirdre GiesenDivisie Methodologie en Kwaliteit

testen en evalueren van vragenlijsten op het CBS 1

Inhoud presentatie

• Impressie van CBS vragenlijsten • Organisatie van vragenlijstontwikkeling• Ontwikkelproces vragenlijsten• Testmethoden• Voorbeeld 1: Vragenlijst Productiestatistieken• Voorbeeld 2: Vragenlijst bewoners Instellingen

en Tehuizen • Vragen en discussie

testen en evalueren van vragenlijsten op het CBS 2

Achter elk record …

testen en evalueren van vragenlijsten op het CBS 3

… zit een formulier…

testen en evalueren van vragenlijsten op het CBS 4

…en een respondent.

testen en evalueren van vragenlijsten op het CBS 5

CBS vragenlijsten

• Zeer diverse onderwerpen en groepen respondenten

• Huishoudens, personen, instellingen en bedrijven• Vooral feitelijke vragen: bijv. Omzet, aantal

vierkante meters winkeloppervlakte, doktersbezoek

• CAWI, CATI, CAPI, e-mail, papier, vaak mix van modes (van goedkoop naar duur).

testen en evalueren van vragenlijsten op het CBS 6

Top 10 enquêtes anno 2009 naar steekproefomvang per jaar, * = panelonderzoek

Naam statistiek Steek-proef

Eenheid Modi

Productiestatistiek 75.000 Bedrijven Internet, papier & XBRL Enquête Beroepsbevolking*

64.000 Huishoudens CAPI & CATI

Investeringen en lease 61.000 Bedrijven Papier Wegvervoer 60.000 Kentekens Internet, papier & XMLKorte termijn statistiek * 40.000 Bedrijven Internet, e-mail & papier Veiligheidsmonitor 37.500 Persoon Internet, CATI, CAPI &

papierBudget onderzoek 37.000 Huishouden CAPI, CATI & papierBedrijfstelling 35.000 Bedrijven Internet & papierConjunctuurenquête 21.500 Bedrijven Internet, CATI & papier Dagrecreatie* 21.000 Persoon CATI

testen en evalueren van vragenlijsten op het CBS 7

Organisatie van waarneming op het CBS

• Centralisering van alle waarneming• Vragenlijsten in alle modes • Upload bestanden• XBRL • Registers

• Generieke processen en systemen

testen en evalueren van vragenlijsten op het CBS 8

Belangrijkste doelen bij vragenlijstontwikkeling

• Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig).

• Met zo min mogelijk belasting van respondenten.

• Tegen zo laag mogelijke kosten.

testen en evalueren van vragenlijsten op het CBS 9

Belangrijke randvoorwaarden

European Statistics Code of Practice: “Questionnaires are systematically tested prior to the data collection”

Handbook of Recommended Practices for Questionnaire Development in the European Statistical System (Brancato et al. 2006)

testen en evalueren van vragenlijsten op het CBS 10

Ontwikkelproces vragenlijst

Conceptualisering en onderzoeksontwerp

Vragenlijstontwerp en -bouw Pre-testen Herziening Dataverzameling Proces monitoring en

evaluatie

testen en evalueren van vragenlijsten op het CBS 11

Soorten tests en evaluaties

• informele tests• expert raadpleging• kleinschalige, kwalitatieve test• functioneel en technisch testen • kleinschalige, operationele test (pilot)• grootschalige tests: experimenten, pilots • analyse van procesdata • analyse van surveydata

testen en evalueren van vragenlijsten op het CBS 12

Aanpak herontwerp vragenlijst productiestatistieken (2003-2006)

Twee sporen beleid:Reduceren uitvraag

Inventarisatie output Gebruik secundaire bronnen

Verbeteren uitvraag Evaluatie oude vragenlijst Herontwerp + test Pilot (2006)Implementatie (2007)Evaluatie

testen en evalueren van vragenlijsten op het CBS 13

Evaluatie oude vragenlijst stap 1: Analyse van beschikbare informatie

• Reeds bestaande nota’s over de PS• Ingevulde formulieren • Focusgroepen met mensen van helpdesk,

buitendienst, gaafmaken en analyse• Coderen van ruim 2000 inhoudelijke

opmerkingen van respondenten • Hoogte en snelheid respons • Kwaliteit verzamelde data: item non respons

en plausibiliteit

testen en evalueren van vragenlijsten op het CBS 14

Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek naar responsproces

• Telefoongesprekken non-respondenten (14)

• Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken

testen en evalueren van vragenlijsten op het CBS 15

Vernieuwde huisstijl:2. Onderzoek naar de PS

•Q oud

<<

testen en evalueren van vragenlijsten op het CBS 16

Belangrijkste conclusies

1) Responslast is hoog en motivatie laag2) Correcties kosten veel tijd3) Layout formulier veroorzaakt fouten4) Structuur formulier onhandig 5) Toelichtingen worden niet gelezen

testen en evalueren van vragenlijsten op het CBS 17

Belangrijkste wijzigingen

1. Reductie aantal items (van gemiddeld 119 naar 92)

2. Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar)

3. Andere redactie toelichtingen (korter)4. Herziene layout papieren vragenlijst5. Ontwikkeling elektronische vragenlijst

testen en evalueren van vragenlijsten op het CBS 18

testen en evalueren van vragenlijsten op het CBS 19

Ontwerp elektronische vragenlijst

testen en evalueren van vragenlijsten op het CBS 20

Evaluatie nieuwe PS

• Bedrijfsbezoeken (N=20)• Telefonische enquête respondenten

(N=2210 oude design en N=2499 nieuwe design)

• Analyse responsedata

testen en evalueren van vragenlijsten op het CBS 21

Belangrijkste uitkomsten

1. Overall respons blijft gelijk (80%)2. E-respons hoog (80%) 3. Responstijd daalt (135 105 dagen)4. Invultijd daalt (4 3 uur) 5. % dat invullen moeilijk vindt daalt

(6857)6. Waardering voor CBS blijft gelijk (6,5)

testen en evalueren van vragenlijsten op het CBS 22

Voorbeeld 2: Pilot IIT

• IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen

• Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder bewoners van verzorgingshuizen en verpleeghuizen.

• Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht)

testen en evalueren van vragenlijsten op het CBS 23

Ontwikkelproces1. Literatuuronderzoek + expertraadpleging2. Ontwikkeling concept vragenlijst en benadermethode 3. Interviews met contactpersonen tehuizen en cliëntenraden (6)4. Herziening methode 5. Kwalitatieve testinterviews bewoners (6)6. Herziening methode en vragenlijst7. Pilot met 3 interviewers, 6 tehuizen, 9 bewoners. 8. Herziening methode en vragenlijst 9. Pilot met 537 bewoners

- Analyse data - Observatie steekproeftrekking (11) en interviews (12)- Evaluatie met interviewers

testen en evalueren van vragenlijsten op het CBS 24

Overall conclusies Pilot IIT (Feskens, 2009)

1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen:• Vraagstellingen eenvoudiger • Steekproeftrekking door interviewer bij

verpleeghuizen• Screening om enquêteerbaarheid te bepalen • Familieenquête voor niet- enquêteerbare personen

2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen.

testen en evalueren van vragenlijsten op het CBS 25

Meer informatieInformatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek:

www.cbs.nl/nl-NL/menu/methoden/default.htm Methodenreeks CBS (met oa document over Vragenlijstontwikkeling onder hoofdstuk Verzamelen van

gegevens): http://www.cbs.nl/nl-NL/menu/methoden/gevalideerde-methoden/default.htm

Brancato, G., Macchia, S., Murgia, M., Signore, M., Simeoni, G., Blanke, K., Körner, T., Nimmergut, A., Lima, P., Paulino, R. en Hoffmeyer-Zlotnik, J. (2006), Handbook of Recommended Practices for Questionnaire Development in the European Statistical System. European Commission Grant Agreement 2004103000002

European Commission (2005) Communication from the commission to the European Parliament and to the Council on the independence, integrity and accountability of the national and Community statistical authorities (European Statistics Code of Practice) Brussels, 25.5.2005 COM(2005) 217 final http://epp.eurostat.ec.europa.eu/portal/page/portal/quality/documents/EN.pdf

Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht

Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia

Giesen, D. (2007). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA.

Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University.

Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA.