Gastcollege effectmetingen fv 230311

27
Design for Security Gastcollege “Effectmetingen” 23 maart 2011 Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands | T: 00316-81195796 | E: [email protected]

description

Voor het vak Persuasive Technology gaan studenten hun interventies ook zelf experimenteel testen. Dit gastcollege legt uit hoe.

Transcript of Gastcollege effectmetingen fv 230311

Page 1: Gastcollege effectmetingen fv 230311

Design for Security

Gastcollege “Effectmetingen”23 maart 2011

Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands |

T: 00316-81195796 | E: [email protected]

Page 2: Gastcollege effectmetingen fv 230311

Onderzoekskader lectoraat PDE

Page 3: Gastcollege effectmetingen fv 230311

Onderzoekskader lectoraat PDE

3

Page 4: Gastcollege effectmetingen fv 230311

Creating Persuasive Technologies:An Eight-Step Design Process (Fogg, 2009)

Les 1: Behavior to target: adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol

Les 2: Audience: observatie doelgroep en gedrag bij Kmar

Les 3: Preventing behavior: analysessessie gedragsdeterminanten:

•Macro: Ontbreken van toezicht door autoriteit•Meso: Afleiding door drukte•Micro: Onderschatten van risico’s

Les 4: Technology channel en relevant examples: afstemmen interventie op gedragsdeterminanten (gastcollege TNO)

Les 5: Imitate examples toegepast op casus (VANDAAG)

Les 5: Test & iterate quickly: VANDAAG : handvaten voor ontwerpen effectmeting

Les 6: Test & iterate quickly: opzetten onderzoeksdesign voor jullie eigen interventie

Blok 4: Test & iterate quickly

Page 5: Gastcollege effectmetingen fv 230311

Doel en inhoud college

n Handvaten voor opzetten en uitvoeren effectmeting

1. Doelstelling en onderzoeksvragen1. Doelstelling en onderzoeksvragen

2. Informatieverzameling2. Informatieverzameling

3. Onderzoekstypen3. Onderzoekstypen

4. Onderzoeksontwerp4. Onderzoeksontwerp

5. Onderzoekspopulatie en steekproef5. Onderzoekspopulatie en steekproef

6. Meten van begrippen6. Meten van begrippen

7. Onderzoeksmethoden: interviewen/ observeren7. Onderzoeksmethoden: interviewen/ observeren

Page 6: Gastcollege effectmetingen fv 230311

Onderscheid kwantitatief en kwalitatief onderzoek

Kwalitatief onderzoek •observatie Kmar•analyseren determinanten•inventariseren bestaande interventies via gastcollege, literatuur

Kwantitatief onderzoek• Effectmeting gedragsverandering (experiment)

Page 7: Gastcollege effectmetingen fv 230311

Onderscheid kwantitatief en kwalitatief onderzoek

Waarom?

Explorerend

Inzicht in gedragingen, motivaties, meningen,

wensen en behoeften

Kan ingezet worden om doelgroep zelf te laten

meedenken over interventie

Mogelijkheid tot doorvragen

Prototypes testen

Resultaten niet statistisch representatief

(gelden bv. niet voor alle Nederlanders)

Wat?

Verklarend

Antwoorden op vragen die in hoeveelheid

kunnen worden uitgedrukt (bijv. Hoeveel

ongewilde schoten waren er bij het ontladen

van de Glock bij de Kmar in 2010?)

Evalueren interventie; meten

gedragsverandering

Grote groepen mensen om statistisch

betrouwbare en representatieve uitspraken te

doen

Resultaten vaak weergegeven in tabellen,

grafieken en percentages

Page 8: Gastcollege effectmetingen fv 230311

Opzetten en uitvoeren effectmeting

1. Doelstelling en onderzoeksvragen1. Doelstelling en onderzoeksvragen

2. Informatieverzameling2. Informatieverzameling

3. Onderzoekstypen3. Onderzoekstypen

4. Onderzoeksontwerp4. Onderzoeksontwerp

5. Onderzoekspopulatie en steekproef5. Onderzoekspopulatie en steekproef

6. Meten van begrippen6. Meten van begrippen

7. Onderzoeksmethoden: interviewen/ observeren7. Onderzoeksmethoden: interviewen/ observeren

Page 9: Gastcollege effectmetingen fv 230311

1. Doelstelling en onderzoeksvragen

n Doelstelling- Waarom is het zinvol en belangrijk dit

onderzoek uit te voeren?

Praktische relevantie: Middels een persuasive technologie interventie adequaat ontladen van de Glock in ontlaadruimte Kmar stimuleren en daardoor reduceren aantal ongewilde schoten

Theoretische relevantie: Inzicht in effect verschillende persuasive technology-interventies op gedragsverandering

Page 10: Gastcollege effectmetingen fv 230311

1. Doelstelling en onderzoeksvragen

Huidige situatie

Gewenste situatie

Page 11: Gastcollege effectmetingen fv 230311

1. Doelstelling en onderzoeksvragen

n Typen onderzoeksvragen Frequentievragen: hoeveel en hoe vaak: “Hoeveel ongewilde

schoten werden er gelost bin de Elzenhoek in 2010?”

Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?”

Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?”

NU

Niet adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol

Niet adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol

InterventieInterventie

Adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol

Adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol

STRAKS

Page 12: Gastcollege effectmetingen fv 230311

2. Informatieverzameling

n Is nadere informatie noodzakelijk? Nee, want er is reeds vooronderzoek gedaan:

Kwalitatief onderzoek •observatie Kmar•analyseren determinanten•inventariseren bestaande interventies via gastcollege, literatuur

Page 13: Gastcollege effectmetingen fv 230311

3. Onderzoekstypen

n Type onderzoeksvraag (zie 1) bepaalt type onderzoek

Type vraag Type onderzoek

Frequentievragen: hoeveel en hoe vaak:“Hoeveel ongewilde schoten werden ergelost in de Elzenhoek in 2010?”

Beschrijvend onderzoek: - Beschrijving van kenmerken van onderzoekseenheden zonder relaties of verklaringen

Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?”

Exploratief onderzoek:- Gericht op scherpere formulering probleem (reeds gedaan)

Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?”

Toetsingsonderzoek: - Toetsen van een of meerdere hypothesen die je afleidt uit de theorie (experiment)

Page 14: Gastcollege effectmetingen fv 230311

3. Onderzoekstypen

n Toetsingsonderzoek: Onderzoek waarbij je vooraf een of meer hypothesen

(verwachtingen) formuleert die je test in de praktijk (Kmar)

Hypothese is een voorlopig antwoord op de onderzoeksvraag: een voorspelling van de uitkomst

Hypothesen worden afgeleid uit theorie

Hypothese: “De persuasive technologie interventie leidt tot het vaker adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol dan zonder de interventie”

Hypothese: “De persuasive technologie interventie leidt tot het vaker adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol dan zonder de interventie”

Page 15: Gastcollege effectmetingen fv 230311

4. Onderzoeksontwerp

n Keuze voor experiment

Quasi-experiment Een enkele groep en/ of alleen voor- of nametingGeen randomisatie

Zuiver experiment Experimentele en controlegroep Voor- en nameting Randomisatie

Page 16: Gastcollege effectmetingen fv 230311

4. Onderzoeksontwerp

n Typen quasi-experimenten1. One group post test

2. One group pre-post test

3. Two group post test

4. Two group pre-post test

T0 T1

X (interventie) Groep 1

T0 T1

Groep 1 X (interventie) Groep 1

T0 T1

Controlegroep

X (interventie) Experimentele groep

T0 T1

Controlegroep Controlegroep

Experimentele groep

X (interventie) Experimentele groep

Page 17: Gastcollege effectmetingen fv 230311

4. Onderzoeksontwerp

n One group pre-post test design

Nu: T0Pre

Straks: T1Post

Nulmeting: Huidig gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol

X (interventie): persuasive technology interventie

Nameting: Gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol

Page 18: Gastcollege effectmetingen fv 230311

5. Onderzoekspopulatie en steekproefn Onderzoekseenheden: Wie of wat onderzoek je? Kmar-

personeel dat glock ontlaadt in ontlaadhoek in Elzenhoek te Schiphol

n Populatie: De onderzoekseenheden die je in het experiment betrekt:

Alle Kmar-personeelsleden (populatie) of een deel daarvan (steekproef)

n Steekproef:

Aselect: Iedereen heeft evenveel kans om in de steekproef te komen (bv op basis van loting)

Select: Sommigen hebben meer kans om in de steekproef te komen dan anderen (personen zijn toevallig beschikbaar)

Page 19: Gastcollege effectmetingen fv 230311

5. Onderzoekspopulatie en steekproef

n Steekproefgrootte: Hoeveel personen moet je in het onderzoek betrekken?

n Overwegingen: Minimaal 30 personen (in voor- en nameting) Laten afhangen van tijd en geld beschikbaar

Page 20: Gastcollege effectmetingen fv 230311

6. Meten van begrippenn Welke eigenschappen (variabelen) ga je meten om de

onderzoeksvraag te kunnen beantwoorden?

Onderzoeksvraag: “Is er een verschil in aantal keren adequaat ontladen door Kmar-personeel met en zonder de persuasive technologie interventie?”

Variabelen gedraging: Aantal onbedoelde schoten per dag/ week/ maand/ jaar Aantal personen dat adequaat ontlaadt of niet (“magazijn eruit”)

per dag/ week/ maand/ jaar

Page 21: Gastcollege effectmetingen fv 230311

6. Meten van begrippenn Maar: je kunt onderzoeksvragen ook betrekking laten hebben

op gedragsdeterminanten:

- Micro: “Kennen meer Kmar-personeelsleden de risico’s van niet adequaat ontladen wanneer de persuasive technology-interventie is geimplementeerd dan zonder de interventie?”

- Meso: Aantal personen dat af is geleid door druk

- Macro: Aantal personen dat gelooft dat auriteit ontbreekt

Etc.

Page 22: Gastcollege effectmetingen fv 230311

6. Meten van begrippenn Om vast te stellen welke begrippen je het beste kunt meten om

de onderzoeksvragen te beantwoorden, moet je de volgende tabel invullen:

Gewenste gedragsverandering (eindgedraging of gedragsdeterminant)

Objectieve variabelen: gebaseerd op feiten(voor en na interventie te meten)

Subjectieve variabelen: gebaseerd op meningen(voor en na interventie te meten)

Eindgedraging: Kmar-personeel ontlaadt glock op juiste wijze

Aantal personen die op juiste wijze ontlaadt (patroon eruit halen)

Perceptie (gevoel/ beleving) van Kmar-personeel ten aanzien van aantal onbedoelde schoten

Gedragsdeterminant (micro): Kmar-personeel is op de hoogte van de risico’s die gepaard gaan met niet adequaat ontladen van glock

Kennis van Kmar-personeel ten aanzien van risico-inschatting

Gedragsdeterminant (meso): Kmar-personeel raakt niet afgeleid door andere aanwezigen in de ontlaadruimte

Aantal personen dat zich iets aantrekt van andere aanwezigen in de ontlaadruimte

Page 23: Gastcollege effectmetingen fv 230311

7. Onderzoeksmethodenn Keuze onderzoeksmethode hangt af van welke variabelen je

wilt meten.

Vuistregel:

Gaat het om objectieve variabelen, kies dan voor OBSERVATIE

Gaat het om subjectieve variabelen, kies dan voor INTERVIEWEN (schriftelijk of mondeling)

Page 24: Gastcollege effectmetingen fv 230311

7. Onderzoeksmethoden

Observatie Interviewen (mondeling of schriftelijk)

Vaststellen feitelijk gedrag Informatie over attitudes, opinies, gevoelens, gedachten, kennis

Vergt veel tijd Mensen zijn zich niet altijd bewust van motieven tot gedrag

Je kunt alleen gedragingen observeren, geen motivaties

Gevaar sociaal wenselijke antwoorden

Mogelijke invloed aanwezigheid onderzoeker/ observator (oplossing = camera)

Gebruik gesloten vragen in experimenteel onderzoek (eenvoudig vergelijkbaar voor en na)

Zo snel mogelijk vastleggen via observatieschema

Checklist:Vraag 1 ding tegelijkVraag moet voor slechts 1 uitleg vatbaar zijnVragen moeten gemakkelijk geformuleerd zijnVragen moeten niet suggestief zijn

Page 25: Gastcollege effectmetingen fv 230311

7. Onderzoeksmethodenn Zorg voor een zo groot mogelijke betrouwbaarheid en validiteit

Betrouwbaarheid (resultaten zijn zo min mogelijk afhankelijk van toeval)

Validiteit (je meet in het onderzoek ook echt wat je wilt meten)

Zorg dat de situatie in voor- en nameting helemaal vergelijkbaar is (geen andere interventies zoals posters oid)

Zorg dat je variabelen gebaseerd zijn op eerdere onderzoeken waarin dezelfde variabelen werden gemeten (begripsvaliditeit)

Zorg dat je als interviewer of observator je neutraal gedraagt en geef niet je eigen mening of zeg niets voor

Zorg dat in de toekomst de meting nog een keer herhaald wordt om te zien of de resultaten nog steeds gelden (predictieve validiteit)

Zorg dat je in de voor- en nameting zoveel mogelijk DEZELFDE respondenten betrekt

Gebruik exact dezelfde onderzoeksmethode in voor- en nameting

Page 26: Gastcollege effectmetingen fv 230311

Volgende week: n Tijdens college invullen onderstaande tabel:

n Blok 4: Ontwerpen interventie en uitvoeren experiment

Gewenste gedragsverandering (eindgedraging of gedragsdeterminant)

Objectieve variabelen: gebaseerd op feiten(voor en na interventie te meten)

Subjectieve variabelen: gebaseerd op meningen(voor en na interventie te meten)

Onderzoeksinstru-ment en bijbehorende variabele

Page 27: Gastcollege effectmetingen fv 230311

Vragen?

Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands |

T: 00316-81195796 | E: [email protected]