Gastcollege effectmetingen fv 230311
-
Upload
arjan-haring -
Category
Documents
-
view
1.348 -
download
4
description
Transcript of Gastcollege effectmetingen fv 230311
Design for Security
Gastcollege “Effectmetingen”23 maart 2011
Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands |
T: 00316-81195796 | E: [email protected]
Onderzoekskader lectoraat PDE
Onderzoekskader lectoraat PDE
3
Creating Persuasive Technologies:An Eight-Step Design Process (Fogg, 2009)
Les 1: Behavior to target: adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol
Les 2: Audience: observatie doelgroep en gedrag bij Kmar
Les 3: Preventing behavior: analysessessie gedragsdeterminanten:
•Macro: Ontbreken van toezicht door autoriteit•Meso: Afleiding door drukte•Micro: Onderschatten van risico’s
Les 4: Technology channel en relevant examples: afstemmen interventie op gedragsdeterminanten (gastcollege TNO)
Les 5: Imitate examples toegepast op casus (VANDAAG)
Les 5: Test & iterate quickly: VANDAAG : handvaten voor ontwerpen effectmeting
Les 6: Test & iterate quickly: opzetten onderzoeksdesign voor jullie eigen interventie
Blok 4: Test & iterate quickly
Doel en inhoud college
n Handvaten voor opzetten en uitvoeren effectmeting
1. Doelstelling en onderzoeksvragen1. Doelstelling en onderzoeksvragen
2. Informatieverzameling2. Informatieverzameling
3. Onderzoekstypen3. Onderzoekstypen
4. Onderzoeksontwerp4. Onderzoeksontwerp
5. Onderzoekspopulatie en steekproef5. Onderzoekspopulatie en steekproef
6. Meten van begrippen6. Meten van begrippen
7. Onderzoeksmethoden: interviewen/ observeren7. Onderzoeksmethoden: interviewen/ observeren
Onderscheid kwantitatief en kwalitatief onderzoek
Kwalitatief onderzoek •observatie Kmar•analyseren determinanten•inventariseren bestaande interventies via gastcollege, literatuur
Kwantitatief onderzoek• Effectmeting gedragsverandering (experiment)
Onderscheid kwantitatief en kwalitatief onderzoek
Waarom?
Explorerend
Inzicht in gedragingen, motivaties, meningen,
wensen en behoeften
Kan ingezet worden om doelgroep zelf te laten
meedenken over interventie
Mogelijkheid tot doorvragen
Prototypes testen
Resultaten niet statistisch representatief
(gelden bv. niet voor alle Nederlanders)
Wat?
Verklarend
Antwoorden op vragen die in hoeveelheid
kunnen worden uitgedrukt (bijv. Hoeveel
ongewilde schoten waren er bij het ontladen
van de Glock bij de Kmar in 2010?)
Evalueren interventie; meten
gedragsverandering
Grote groepen mensen om statistisch
betrouwbare en representatieve uitspraken te
doen
Resultaten vaak weergegeven in tabellen,
grafieken en percentages
Opzetten en uitvoeren effectmeting
1. Doelstelling en onderzoeksvragen1. Doelstelling en onderzoeksvragen
2. Informatieverzameling2. Informatieverzameling
3. Onderzoekstypen3. Onderzoekstypen
4. Onderzoeksontwerp4. Onderzoeksontwerp
5. Onderzoekspopulatie en steekproef5. Onderzoekspopulatie en steekproef
6. Meten van begrippen6. Meten van begrippen
7. Onderzoeksmethoden: interviewen/ observeren7. Onderzoeksmethoden: interviewen/ observeren
1. Doelstelling en onderzoeksvragen
n Doelstelling- Waarom is het zinvol en belangrijk dit
onderzoek uit te voeren?
Praktische relevantie: Middels een persuasive technologie interventie adequaat ontladen van de Glock in ontlaadruimte Kmar stimuleren en daardoor reduceren aantal ongewilde schoten
Theoretische relevantie: Inzicht in effect verschillende persuasive technology-interventies op gedragsverandering
1. Doelstelling en onderzoeksvragen
Huidige situatie
Gewenste situatie
1. Doelstelling en onderzoeksvragen
n Typen onderzoeksvragen Frequentievragen: hoeveel en hoe vaak: “Hoeveel ongewilde
schoten werden er gelost bin de Elzenhoek in 2010?”
Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?”
Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?”
NU
Niet adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol
Niet adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol
InterventieInterventie
Adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol
Adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol
STRAKS
2. Informatieverzameling
n Is nadere informatie noodzakelijk? Nee, want er is reeds vooronderzoek gedaan:
Kwalitatief onderzoek •observatie Kmar•analyseren determinanten•inventariseren bestaande interventies via gastcollege, literatuur
3. Onderzoekstypen
n Type onderzoeksvraag (zie 1) bepaalt type onderzoek
Type vraag Type onderzoek
Frequentievragen: hoeveel en hoe vaak:“Hoeveel ongewilde schoten werden ergelost in de Elzenhoek in 2010?”
Beschrijvend onderzoek: - Beschrijving van kenmerken van onderzoekseenheden zonder relaties of verklaringen
Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?”
Exploratief onderzoek:- Gericht op scherpere formulering probleem (reeds gedaan)
Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?”
Toetsingsonderzoek: - Toetsen van een of meerdere hypothesen die je afleidt uit de theorie (experiment)
3. Onderzoekstypen
n Toetsingsonderzoek: Onderzoek waarbij je vooraf een of meer hypothesen
(verwachtingen) formuleert die je test in de praktijk (Kmar)
Hypothese is een voorlopig antwoord op de onderzoeksvraag: een voorspelling van de uitkomst
Hypothesen worden afgeleid uit theorie
Hypothese: “De persuasive technologie interventie leidt tot het vaker adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol dan zonder de interventie”
Hypothese: “De persuasive technologie interventie leidt tot het vaker adequaat ontladen van de glock in de ontlaadruimte "Elzenhout“ bij de Kmar op Schiphol dan zonder de interventie”
4. Onderzoeksontwerp
n Keuze voor experiment
Quasi-experiment Een enkele groep en/ of alleen voor- of nametingGeen randomisatie
Zuiver experiment Experimentele en controlegroep Voor- en nameting Randomisatie
4. Onderzoeksontwerp
n Typen quasi-experimenten1. One group post test
2. One group pre-post test
3. Two group post test
4. Two group pre-post test
T0 T1
X (interventie) Groep 1
T0 T1
Groep 1 X (interventie) Groep 1
T0 T1
Controlegroep
X (interventie) Experimentele groep
T0 T1
Controlegroep Controlegroep
Experimentele groep
X (interventie) Experimentele groep
4. Onderzoeksontwerp
n One group pre-post test design
Nu: T0Pre
Straks: T1Post
Nulmeting: Huidig gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol
X (interventie): persuasive technology interventie
Nameting: Gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol
5. Onderzoekspopulatie en steekproefn Onderzoekseenheden: Wie of wat onderzoek je? Kmar-
personeel dat glock ontlaadt in ontlaadhoek in Elzenhoek te Schiphol
n Populatie: De onderzoekseenheden die je in het experiment betrekt:
Alle Kmar-personeelsleden (populatie) of een deel daarvan (steekproef)
n Steekproef:
Aselect: Iedereen heeft evenveel kans om in de steekproef te komen (bv op basis van loting)
Select: Sommigen hebben meer kans om in de steekproef te komen dan anderen (personen zijn toevallig beschikbaar)
5. Onderzoekspopulatie en steekproef
n Steekproefgrootte: Hoeveel personen moet je in het onderzoek betrekken?
n Overwegingen: Minimaal 30 personen (in voor- en nameting) Laten afhangen van tijd en geld beschikbaar
6. Meten van begrippenn Welke eigenschappen (variabelen) ga je meten om de
onderzoeksvraag te kunnen beantwoorden?
Onderzoeksvraag: “Is er een verschil in aantal keren adequaat ontladen door Kmar-personeel met en zonder de persuasive technologie interventie?”
Variabelen gedraging: Aantal onbedoelde schoten per dag/ week/ maand/ jaar Aantal personen dat adequaat ontlaadt of niet (“magazijn eruit”)
per dag/ week/ maand/ jaar
6. Meten van begrippenn Maar: je kunt onderzoeksvragen ook betrekking laten hebben
op gedragsdeterminanten:
- Micro: “Kennen meer Kmar-personeelsleden de risico’s van niet adequaat ontladen wanneer de persuasive technology-interventie is geimplementeerd dan zonder de interventie?”
- Meso: Aantal personen dat af is geleid door druk
- Macro: Aantal personen dat gelooft dat auriteit ontbreekt
Etc.
6. Meten van begrippenn Om vast te stellen welke begrippen je het beste kunt meten om
de onderzoeksvragen te beantwoorden, moet je de volgende tabel invullen:
Gewenste gedragsverandering (eindgedraging of gedragsdeterminant)
Objectieve variabelen: gebaseerd op feiten(voor en na interventie te meten)
Subjectieve variabelen: gebaseerd op meningen(voor en na interventie te meten)
Eindgedraging: Kmar-personeel ontlaadt glock op juiste wijze
Aantal personen die op juiste wijze ontlaadt (patroon eruit halen)
Perceptie (gevoel/ beleving) van Kmar-personeel ten aanzien van aantal onbedoelde schoten
Gedragsdeterminant (micro): Kmar-personeel is op de hoogte van de risico’s die gepaard gaan met niet adequaat ontladen van glock
Kennis van Kmar-personeel ten aanzien van risico-inschatting
Gedragsdeterminant (meso): Kmar-personeel raakt niet afgeleid door andere aanwezigen in de ontlaadruimte
Aantal personen dat zich iets aantrekt van andere aanwezigen in de ontlaadruimte
7. Onderzoeksmethodenn Keuze onderzoeksmethode hangt af van welke variabelen je
wilt meten.
Vuistregel:
Gaat het om objectieve variabelen, kies dan voor OBSERVATIE
Gaat het om subjectieve variabelen, kies dan voor INTERVIEWEN (schriftelijk of mondeling)
7. Onderzoeksmethoden
Observatie Interviewen (mondeling of schriftelijk)
Vaststellen feitelijk gedrag Informatie over attitudes, opinies, gevoelens, gedachten, kennis
Vergt veel tijd Mensen zijn zich niet altijd bewust van motieven tot gedrag
Je kunt alleen gedragingen observeren, geen motivaties
Gevaar sociaal wenselijke antwoorden
Mogelijke invloed aanwezigheid onderzoeker/ observator (oplossing = camera)
Gebruik gesloten vragen in experimenteel onderzoek (eenvoudig vergelijkbaar voor en na)
Zo snel mogelijk vastleggen via observatieschema
Checklist:Vraag 1 ding tegelijkVraag moet voor slechts 1 uitleg vatbaar zijnVragen moeten gemakkelijk geformuleerd zijnVragen moeten niet suggestief zijn
7. Onderzoeksmethodenn Zorg voor een zo groot mogelijke betrouwbaarheid en validiteit
Betrouwbaarheid (resultaten zijn zo min mogelijk afhankelijk van toeval)
Validiteit (je meet in het onderzoek ook echt wat je wilt meten)
Zorg dat de situatie in voor- en nameting helemaal vergelijkbaar is (geen andere interventies zoals posters oid)
Zorg dat je variabelen gebaseerd zijn op eerdere onderzoeken waarin dezelfde variabelen werden gemeten (begripsvaliditeit)
Zorg dat je als interviewer of observator je neutraal gedraagt en geef niet je eigen mening of zeg niets voor
Zorg dat in de toekomst de meting nog een keer herhaald wordt om te zien of de resultaten nog steeds gelden (predictieve validiteit)
Zorg dat je in de voor- en nameting zoveel mogelijk DEZELFDE respondenten betrekt
Gebruik exact dezelfde onderzoeksmethode in voor- en nameting
Volgende week: n Tijdens college invullen onderstaande tabel:
n Blok 4: Ontwerpen interventie en uitvoeren experiment
Gewenste gedragsverandering (eindgedraging of gedragsdeterminant)
Objectieve variabelen: gebaseerd op feiten(voor en na interventie te meten)
Subjectieve variabelen: gebaseerd op meningen(voor en na interventie te meten)
Onderzoeksinstru-ment en bijbehorende variabele
Vragen?
Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands |
T: 00316-81195796 | E: [email protected]