De steeds maar weer veranderende wereld van survey-onderzoek NPSO 05... · Terug in de tijd De...

De steeds maar weer veranderende wereld van survey-onderzoek

Jelke Bethlehem

Universiteit Leiden

NPSO 2018 | 10-jarig lustrum | 5 juni 2018 1 / 36

De veranderende wereld van survey-onderzoek

Het verleden

De mens heeft altijd data verzameld.

De opkomst van steekproefonderzoek.

De rol van de computer.

Het heden

Uitdagingen.

Online dataverzameling.

De toekomst

Andere aanpakken.

De rol van big data.


Terug in de tijd

In de grijze oudheid was al behoefte aan statistische informatie

Altijd integraal onderzoek (volkstellingen).

China en Egypte (1000 voor Chr.): Overzichten voor belasting en militaire zaken.

Romeinse rijk (8 voor Chr): Tellingen van mensen en hun bezittingen.

Voorbeeld: Volkstelling in Bethlehem (Pieter Bruegel, 1566)


Terug in de tijd

Het Domesday Book (1086)

In opdracht van Willem de Veroveraar, nadat hij in 1066 Engeland had veroverd vanuit Normandië.

Gegevens over 13.000 dorpen en riddergoederen.

10.000 cijfers per graafschap.

Informatie over eigendommen, slaven vrije mensen, bos, grasland, molens, visvijvers en geschatte waarde.


Terug in de tijd

De Quipucamayoc

Statisticus in het rijk der Inca’s (1200-1500 AD).

Quipucamayoc in elk district

Hij verzamelde data over mensen, huizen, lama’s en jonge mannen.

Data vastgelegd op quipu’s: systeem van

knopen in gekleurde touwen.

Decimaal systeem.

RAPI: Rope-assisted personal interviewing.


Terug in de tijd

De eerste moderne volkstellingen

Gestandaardiseerde vragenlijst.

Verplichting om mee te doen

1666: Nieuw-Frankrijk (Canada),

Jean Talon, N = 3215.

1748: Zweden.

1769: Denemarken.

1795: Nederland, new vanwege nieuw kiessysteem the in de Bataafse Republiek.


De opkomst van steekproefonderzoek

De periode tot 1895 Geen steekproeven. Het is onjuist om mensen te vervangen door

berekeningen. Werken met steekproeven is een vorm van discriminatie.

Je kunt geen betrouwbare conclusies trekken uit steekproef- gegevens. Je moet gegevens van alle mensen hebben.

Een nieuw tijdperk breekt aan

Industrialisatie.

Verstedelijking.

Groeiende bevolking.

Centrale overheid.

Groeiende behoefte aan informatie.



Anders Kiaer (Noorwegen, 1895)

Stelt zijn Representatieve Methode voor.

Een miniatuur van de doelpopulatie volstaat.

Maar, hoe nauwkeurig zijn de uitkomsten?

Arthur Bowley (Engeland, 1906) Je moet de steekproef loten (aselecte steekproef).

Dan kun je de kansrekening toepassen.

Je kunt de nauwkeurigheid van de schattingen bepalen.

Jerzy Neyman (Polen,1934)

Betrouwbaarheidsinterval (en dus onzekerheidsmarge) als indicatie van de onzekerheid.

Andere steekproeven (zelfselectie-steekproeven en quota-steekproeven werken niet).



De fundamentele principes van de steekproef

Je moet de steekproef loten uit de doelpopulatie. We noemen dit een aselecte steekproef.

Elke persoon moet een positieve kans hebben om in de steekproef te komen. Niemand mag worden uitgesloten.

Al die selectiekansen moeten bekend zijn.

Gevolgen

Dan kun je zuivere (valide) schattingen berekenen.

Dan kun je onzekerheidsmarges berekenen.

Deze principes worden al sinds 1940 toegepast in wetenschappelijk verantwoord onderzoek.

Als deze principes niet volgt, dan kun je niets zinnigs zeggen over de betrouwbaarheid van de uitkomsten.


Voorbeeld: Presidentsverkiezingen in Amerika (1936)

De peiling van Literary Digest

Steekproef: Lijsten van autobezitters en telefoonboeken.

Omvang van de steekproef: 2,4 miljoen.

Voorspelling: Alf Landon (Republikein) wint (fout).

George Gallup Representatieve steekproef op

basis van quota’s (geslacht, leeftijd, sociaaleconomische groep en regio).

Omvang steekproef: 50,000.

Honderden interviewers in het hele land.

Voorspelling: Franklin Roosevelt (Democraat) wint (goed).


Voorbeeld: Presidentsverkiezingen in Amerika (1948)

De peiling van Gallup

Thomas Dewey (Republikein) versus Harry Truman (Democraat).

Voorspelling van Gallup: Dewey wint.

Kranten wilden niet wachten op de echte uitslag.

Harry Truman bleek echter de winnaar te zijn.

Oorzaak: quota-steekproef was onvoldoende representatief.



Situatie in Nederland

Surveys van het CBS

Vanaf 1950: Face-to-face enquêtes.

Steekproeven werden getrokken uit het bevolkingsregister.

Grote groep interviewers.

Hoge responspercentages.

Kostbaar en tijdrovend.

Vanaf 1980 ook telefonische surveys.


Bevolkingsregister, 1946

De toenemende rol van de computer

Computergestuurd interviewen

Kwam op in de 80er jaren.

Papieren vragenlijsten werden vervangen door elektronische vragenlijsten.

CATI: Computer-assisted telephone interviewing.

CAPI: Computer-assisted personal interviewing.

CASI: Computer-assisted self- interviewing.

Voordelen

Betere kwaliteit gegevens (controles).

Snellere verwerking gegevens.

Eenvoudiger voor interviewers.


Het heden

De snelle opkomst van online survey

Begon nadat HTML 2.0 beschikbaar kwam in 1995.

Eenvoudig: Simpele toegang tot grote groep potentiële respondenten.

Goedkoop: geen interviewers, geen drukkosten,

geen verzendkosten.

Snel: je kunt een nieuwe survey snel opstarten.

Iedereen kan het doen!

Methodologische uitdagingen

Onderdekking.

Steekproeftrekking.

Meetfouten.

Non-respons.


Het heden

Onderdekking in online surveys

Probleem: niet iedereen heeft (of gebruikt) internet.

Ouderen, laag opgeleiden en allochtonen zijn ondervertegenwoordigd.

Resultaat: vertekende uitkomsten.


Top 3: Noorwegen (97%) Luxemburg (97%) Nederland (96%)

Bottom 3: Griekenland (68%) Roemenië (68%) Bulgarije (59%) Bron: Eurostat, 2015

Het heden

Steekproef voor online survey

Hoe trek je een aselecte steekproef?

Er is geen steekproefkader van e-mailadressen beschikbaar.

Andere methoden van werving zijn bewerkelijk en kostbaar.

Gevaren van zelfselectie

Onbekende trekkingskansen: geen zuivere schattingen

Deelnemers van buiten doelpopulaties.

Risico van manipulatie.


Gemeenteraadsverkiezingen in Amsterdam. Wie won het debat (januari 2014)?

Het heden

Meetfouten in online surveys

Er zijn geen interviewers. Respondenten zijn op zichzelf aangewezen.

Respondenten zijn niet geïnteresseerd in de survey.

Deelname is dus niet belangrijk voor hen.

Ze lezen de vragen niet, maar scannen er snel doorheen.

Ze weten dat er geen straf staat op een fout antwoord.

Satisficing

Respondenten geven niet het correcte antwoord, maar het eerste min of meer acceptabele antwoord dat bij hen opkomt.

Voorbeelden: primacy effect, weet niet. Vlucht naar neutrale middelste optie.


Het heden

Kleinere budgetten

Interviewer-gestuurde surveys (CAPI, CATI) zijn te duur geworden.

Overstappen naar online surveys zonder aantasten van kwaliteit?

Ontbreken van steekproefkaders

Er zijn geen geschikte steekproefkaders voor online surveys.

Het is steeds moeilijker om een goede steekproef te trekken voor

een telefonische survey..

Toenemende non-respons problemen

Responspercentage < 10% voor telefonische surveys (RDD).

Responspercentage < 40% voor online surveys.

Zijn de principes van aselecte steekproeven nog wel van

toepassing?


De toekomst

Hoe verzamelen we data in de toekomst?

Stop met kanssteekproeven. Gebruik niet-kanssteekproeven.

Stop met kanssteekproeven. Gebruik model-based schattings-

technieken.

Stop helemaal met surveys. Gebruik beschikbare Big Data.

Ga door met kanssteekproeven.

Investeer in betere correctietechnieken.


De toekomst

Niet-kanssteekproeven: zelfselectie

Vervang kanssteekproef door zelfselectie-steekproef.

Dataverzameling met zelfselectie is veel eenvoudiger.

Corrigeer het gebrek aan representativiteit door weging.

Volgende stap:

Groot zelfselectie online panel.

Maar …

Representativiteitsproblemen zijn bij zelfselectie veel groter dan

bij aselecte steekproeven + non-respons.

Is het echt mogelijk de vertekening volledig te corrigeren? Niet, als

bepaalde subpopulaties volledig ontbreken.


De toekomst

Steekproef met zelfselectie

Is sample matching misschien een oplossing?

Aselecte steekproef uit steekproefkader (bevolkingsregister).

Lokaliseer gelijkende personen in groot zelfselectie-panel.

Interview deze personen (en niet de personen in het steekproefkader).

Geen non-respons.

Maar …

Betere schattingen dan die van gewogen steekproef uit zelfselectie-panel?

Alleen effectief als geschikte hulpvariabelen beschikbaar zijn.


Kader Steekproef Panel

De toekomst

Model-based benadering

Traditional benadering: design-based benadering.

Veronderstel lineair verband tussen doelvariabele Y en hulpvariabele X.

Trek aselecte steekproef.

Schat regressie model.

Gebruik regressieschatter:

Robuuste schatter. Is ook zuiver als model niet geldt.

Alleen minder precies als verkeerd model wordt verondersteld.


R E Gy y b x X

De toekomst


Model-based benadering: Negeer steekproefaspecten

Fit een model dat doelvariabele verklaard uit een reeks hulpvariabelen. Bij voorbeeld: Yk = α + βXk + εk, met εk ~ N(0, σ).

Gebruik model om onbekende waarden van Y te voorspellen.

Voorspelling van populatiegemiddelde: Neem gemiddelde van bekende en onbekende waarden van Y.


De toekomst





Voorspelling is accuraat voor waarnemingen aan de uiteinden van het model.


De toekomst





Voorspelling faalt als het veronderstelde model niet (meer) past.


De toekomst


Model-based benadering kan zeer nauwkeurige schattingen opleveren, maar alleen als het model correct is.

Model-based benadering is dus niet robuust tegen misspecificatie van modellen.

In de praktijk moet je regelmatig controleren of de modellen nog wel passen. Daarvoor moet je wel een goede (aselecte) steekproef trekken.

Beschermen tegen misspecificatie is mogelijk, maar dit vereist een (aselecte) steekproef.


De toekomst

Big data

Kunnen surveys worden vervangen door big data sets?

Tim Harford (2014): “Big data is like teenager sex. Everyone is talking about it. Nobody knows how to do it. Everybody claims they are doing it. Everybody assumes everybody else is doing it”.

AAPOR Report on Big Data (2015): “Surveys and Big Data are complementary data sources, not competing data sources”.

NTTS 2015 | The ever changing landscape of official statistics 27 / 33

De toekomst

Gebruik van Big Data

Big data is er altijd geweest. Alleen werd het anders genoemd: data mining (2000).

Is big data een hype, een marketing truc of een bruikbare nieuwe aanpak?

Toepassingen lijken nog beperkt.

Is het een grote hoeveelheid data op zoek naar een probleem?

Of gaat het om problemen die op zoek zijn naar data?


De toekomst

Uitdagingen

Big data sets zijn van andere organisaties.

Big data sets zijn opgezet voor een ander doel en met andere

definities.

Er is geen controle over de verzameling van de data.

Variabelen kunnen veranderen of verdwijnen.

Big data sets kunnen fouten bevatten.

Is er wel voldoende kwaliteitscontrole?


De toekomst

Big data – Geen theorie nodig

“With enough data, the numbers speak for themselves” (Wired, 2008).

“If you torture the data long enough, it will confess” (Coase, 1995).

Gebruik correlaties in de data om een voorspellingsmodel te bouwen.

Maar pas op: modellen kunnen op een later moment falen.

Voorbeeld: Google Flu Trends (GFT)

Model gebaseerd op zoekgedrag in Google.

Model functioneerde drie jaar lang goed.

In 2013 zat het model er een factor 2 naast.


De toekomst

Big data – nep-correlations

Zelfs bij random ruis is 5% van de correlaties significant.

Data moet worden gesplitst in twee portie: één voor exploratie en

hypothesevorming, en één voor het testen van hypothesen.

Voorbeeld: onafhankelijk, aselecte trekkingen uit normale verdeling.

istribution.


Significante correlatie

De toekomst

Zijn big data sets representatief?

We hebben geen big data nodig, maar representatieve data.

Big data beschrijven soms maar een deel van de populatie. Het resterende deel mag niet worden vergeten.

Voorbeeld: de Boston Street Bump

Slim idee: smartphone app registreert kuilen in de weg.

Goedkoop en snel. Veel data.

Helaas: bezitters van smartphones wonen vooral in de betere wijken van Boston.


De toekomst

Zijn big data sets representatief ?

Onderwerpen van 184.5 miljoen tweets in 2014 (Echelon Insights).

Welke populatie wordt hier beschreven?

Veel data, maar zijn die representatief?


De toekomst

Zijn big data sets representatief ?

Tweede Kamerverkiezingen in maart 2017.

Is het aantal ‘likes’ op Facebook representatief voor de populariteit van een partij?

Kunnen die ‘likes’ een opiniepeiling vervangen?


De toekomst

Is er nog een toekomst voor aselecte steekproeven?

Gooi de baby niet weg met het badwater!

We hebben surveys nodig voor …

Onderwerpen die niet in andere data sets zitten.

Controleren van modellen.

Kwaliteitscontrole van big data sets en andere data sets.

We moeten investeren in …

Betere steekproefkaders.

Betere correctietechnieken.

Betere (effectievere) hulpvariabelen.



Einde

De steeds maar weer veranderende wereld van survey-onderzoek NPSO 05... · Terug in de tijd De...

Documents

Transcript of De steeds maar weer veranderende wereld van survey-onderzoek NPSO 05... · Terug in de tijd De...