Inleiding: algemene info

I Eerste les [26/09] weten

o wat onderzoek iso wat goed onderzoek is, hoe het zich tot de werkelijkheid verhoudt en

welk gevolg dit heeft voor de resultaten in staat zijn om compromissen te zoeken: minimale inspanningen maximale

resultaten probleem: er zijn heel veel soorten onderzoek

o oplossing: kennismaken met ene vorm = ook iets weten over de andere vormen

bij deze soorten horen technieken en benaderingen…o surveyonderzoek = vragenlijsten

meest complexe en meest voorkomende vorm problemen:

operationaliseerbaarheidsvragen steekproef (betrouwbaar?)

o observatieonderzoek: gebeurt weinigo pretest = effectonderzoek VOORAF

vooraf kijken of de kwaliteit van de boodschap zodanig is dat je er later effect van zult merken

vanaf hier instrumentarium minder strikt en nadrukkelijk betrokken als onderzoeker

o conversatie: beschrijvend opmerking: het rapport van BPV&W is vertrouwelijk!!! uiteindelijk maakt de organisatie een BELEID op basis van onderzoek

o wij: INFORMATIEOVERLAST BIJ DOCENTEN PROJECTVOORSTEL: perspectief 'onderzoek beoordelen'

II Tweede les [03/10]1 Programma voor vandaag typen onderzoek: verkennend, beschrijven en toetsend eisen aan (wetenschappelijk) onderzoek wetenschappelijk en organisatiegericht onderzoek: waren verschillen deze van

elkaar? BPV&W als casus survey als onderzoeksinstrument

2 Typen onderzoek je kunt indelingen maken op basis van van alles

o vb. fruit: lekker en niet lekker; peerachtigen en appelachtigen…o ook de waarde van deze indeling hangt af van de gebruikswaarde

vandaar zullen we veel gebruik maken van het schema (zie slide)o = indeling van onderzoek naar doel: wat wil je eigenlijk met het

onderzoek?o het blokje = kan minder of meer zijn, dit zijn geen absolute categorieëno hangt af van o verschillende soorten van indeling

onderzoek naar doel: exploreren, beschrijven, toetsen manier van kijken: kwalitatief (beschouwen) kwantitatief

(meten)

1

methodologie, het denken over hoe onderzoek moet verlopen, ideeën over goed onderzoek etc.: links etnografie en empirisch-analytisch (bij deze laatste weet je van tevoren waar je naar gaat kijken)

o op basis hiervan proces en product bekijken wat zie je nog? helpdesk: poging op kwantitatieve manier te beoordelen; sterk

analytisch gericht en beschrijvend-toetsend-evaluerend karakter onderzoek naar de brochures en de websites ook duidelijk toetsend-

evaluerend qua karakter maar kwalitatief

3 Empirische cyclus Die indeling die we net zagen is enigszins te plaatsen in deze cyclus MAAR

voorzichtig want een echte etnomethodoloog (?) zou zich hier nooit in plaatsen en heeft nooit tot doel om specifieke hypotheses te vormen. Toch gebeurt er vaak hypothesevormend onderzoek!

Het idee van deze cyclus: wetenschappelijk onderzoek voert langs een bepaalde lijn

o van waarneming naar hypotheseo hypothese geeft bepaalde voorspellende gegevens over de

werkelijkheido bijstelling: zijn je gegevens conform de waarneming?

Fasen: observatie - inductie - deductie - toetsing - evaluatie deze stappen komen zelden terug in organisaties, omdat die zelden

geïnteresseerd zijn in theoretisch onderzoek!o doel wetenschapper: geïnteresseerd in welke problemen zich voordoen

bij helpdesks in het algemeen, hoe anderen werken, vergelijking: wijkt hun helpdesk af…?

o doel BPV&W: eigen helpdesk goed?o dus er is een discrepantie tussen beide!

3.1 Exploreren DOEL: het verkennen en leren begrijpen van het onderzoeksobject

o illustreren: etnolingüist die naar Papoea-Nieuw-Guinea trekt met als doel om een inzicht te krijgen in de taal, om gebruiken te doorgronden: je weet helemaal niets en probeert door er te zijn, te kijken en na te denken een beeld te krijgen van wat er eigenlijk gebeurt…

dit brengt weerbarstige materie met zich mee, want er gebeurt van alles en je moet proberen op basis van dit materiaal een betekenis te vinden

o vb.: er is een gesprek en de betekenis die je aan bepaalde onderdelen van het gesprek geeft, moeten echt uit dit gesprek zelf naar boven komen

je kunt het idee hebben dat je weet wat een antwoord is en wat een vraag is, maar iets is pas een vraag als het door de ander ook daadwerkelijk zo wordt opgevat

het onderzoek is heel erg afhankelijk van de kwaliteit van de onderzoeker, want hij is het die de gegevens interpreteert

o vb.: etnolingüist moet heel veel van talen kennen om zelfs maar iets te begrijpen en het te kunnen neerschrijven

het gaat om de natuurlijkheid van de data, de werkelijkheid, hoe die zich echt voordoet

o dit is een hele andere benadering dan die van een experiment deze benadering is vaak kwalitatief (maar niet noodzakelijkerwijs)

o want kwantitatief leidt vaak tot generaliseren en dat is hier moeilijk

2

na de dataverzameling begint het onderzoekswerk pas: interpretereno je onderzoek begint pas als je je gegevens verzameld hebt

overtuigen geschiedt vanuit de data: demonstratieo is een heel taalkundige manier van argumentereno vb.: deze zin klopt niet, ik als gekwalificeerd onderzoeker beschouw dat

zo en veronderstel dat mijn lezer die mening met mij deelt… en indien niet, kan die zelf een theorie neerschrijven

3.2 Beschrijven Het doel lijkt wel op dat van exploreren, maar er zijn specifiekere banden

o DOEL: werkelijkheid systematisch in kaart brengen, zoeken naar verbanden

over het algemeen heb je al een gerichter, vooraf uitgewerkt instrumentariumo discourseanalyse: vooraf uitgewerkt, maakt het telbaar (kwantitatief),

van tevoren bepaal je enkele observatiecategorieën, want je moet weten wat je moet tellen

o voorbeeld in een vragenlijst: in welke aspecten van je object ben je geïnteresseerd?

je weet vaak al een en ander over je object, dus het is minder weerbarstigo je weet al welke handelingen er deel van uitmakeno op het moment dat je een survey hebt gemaakt of een

organisatieschema, kun je dat zelfs aan anderen geven => het onderzoek is minder afhankelijk van de gekwalificeerde onderzoeker = GROOT VOORDEEL

natuurlijkheid van data is even belangrijk als generaliseerbaarheido vb.: evaluatie helpdesk: niet van 1 gebruiker maar van alle…

vandaar vaak een meer kwantitatieve benadering (generaliseerbaarheid) na de dataverzameling is het onderzoek eigenlijk gedaan: interpretaties

volgen direct uit 'scores'o als onderzoeker is dit heel comfortabel; na het onderzoek weet je

meteen alles wat je wilt weteno maar uit het onderzoek kwam bv. dat er begripsproblemen over waren,

maar niet hoe die ontstaano heel interessant hoe de verschillende onderzoeksmanieren elkaar

kunnen aanvullen overtuigen vanuit methode/instrument en relatie tussen resultaten en

conclusieso een belangrijk deel van je overtuigingskracht ligt in het instrument =>

is één niveau van discussie, de OPERATIONALISEERBAARHEIDo verder discussie over de relatie van wat je geobserveerd hebt en de

conclusies

3.3 Toetsen terminologie

o wat is toetsen en wat is beschrijven?o vb. het onderzoek van BPV&W: toetsen = vaststellen van problemen

maar het was ook beschrijven, het beschrijven van oordelen van mensen

DOEL: hypotheses toetsen en waarde bepalden vooraf uitgewerkt instrumentarium, sterk theoriegebonden toetsen is wel duidelijk als het gaat om een theorie die een bepaalde

voorspelling doet over de werkelijkheid; deze voorspelling kun je omzetten in hypotheses en die kun je gaan toetsen

3

o bij BP was er geen theorie over wat mensen vonden van de helpdesk => ergens tussen beschrijven en toetsen

o dat onderzoek is wel waardebepalend en vandaar heel belangrijk: geen afhankelijkheid van onderzoeker

o het is de meest harde vorm van onderzoeko empirisch-analytischer kan het niet, volkomen los van de onderzoeker

eigenlijk weet je al wat eruit komt, want je hebt al een theorie die het voorspelt

o dus: kenbaar en controleerbaar object (want instrumentontwikkeling; hypotheses)

helemaal aan het andere uiterste, want generaliseerbaarheid prevaleert boven natuurlijkheid

kwantitatieve benadering (generaliseerbaarheid)o we willen alleen maar weten wat mensen doen als alles hetzelfde is

overtuigen vanuit hypotheses, methode/instrument en relatie tussen resultaten en conclusies

o nog strikter dan bij beschrijvend onderzoek (waar je wilt weten hoe zit het daarmee of daarmee) wil je hier enkel weten: ja of nee - klopt de hypothese of niet? heb ik de hypothese kunnen verwerven of niet?

o voor de rest gebeurt het overtuigen min of meer zoals bij beschrijvend onderzoek: deugt de methode, sluiten de conclusies aan bij de resultaten?

4 Centrale waarden in onderzoek heel belangrijk bij fraudeonderzoek (copyright); dergelijk onderzoek is volledig

op vertrouwen gebaseerd: bestaan bronnen echt, zijn waarnemingen waar…? Niemand kan dit controleren! er zitten wel allerlei checks in onderzoek

o als je dit vertrouwen schaadt, snap je in de kern niet wat onderzoek inhoudt en tast je de fundamenten van het wetenschappelijk bedrijf aan

o de straffen zijn enorm eerlijkheid objectiviteit, onbevoordeeldheid

o dit geeft vaak problemen bij medisch/farmaceutisch onderzoek (vaak betaald door mensen die willen dat het werkt…) => de stappen van het onderzoek worden meestal gesplitst

controleerbaarheid, herhaalbaarheido ieder onderzoek moet herhaalbaar zijno alles bewaren, want als er iemand zou twijfelen aan de eerlijkheid,

moet je kunnen aantonen hoe het gebeurd iso je methode moet ook zo controleerbaar en transparant zijn dat iemand

anders het na kan doeno aantal jaar geleden een prachtige affaire, de Benefisteaffaire (?) die

had aangetoond dat de eeuwige verdunningen waar in de homeopathie mee gewerkt wordt toch werkzaam zijn

dat de werkzame moleculen hun werkzaamheden konden doorgeven aan andere moleculen

schreef er een artikel over, voldeed aan de eisen van het tijdschrift waarin het gepubliceerd werd

toen kwam er controle langs; doe het nog eens (achteraf controle van de meetresultaten met James Randy, een goochelaar - keken of er geen manipulatie vond tijdens het schudden van de buisjes)

volledigheid

4

o aantal jaar geleden in Utrecht een promotie afgeblazen omdat een medisch onderzoek wel waar was maar er waren drie patiënten gestorven in de eerste fase van het onderzoek

integriteito netjes omgaan met je onderzoeksobject, discretieo is moeilijker als bureau, als universiteit krijg je vlugger die naam

dit vertaalt zich allemaal ook in een aantal eisen voor wetenschappelijk onderzoek

5 Eisen wetenschappelijk onderzoek validiteit

o aspecten/waarde ervan verschillen wel in bepaalde onderzoeken maar ze moeten wel altijd valide zijn!

o verschillende soorten: interne validiteit: dit geldt in ieder onderzoek; je methode moet

aansluiten bij het soort vraag dat je hebt ,er moet een consistente lijn zijn tussen je onderzoeksopzet en je conclusies

externe validiteit: dit heeft te maken met de generaliseerbaarheid: in hoeverre kun je vanuit jouw observaties generaliseren?

ecologische validiteit (voor ons heel erg van belang): hoe natuurlijk zijn de omstandigheden waarin je mensen hebt ondervraagd of onderzocht, verschilt dit zo erg van wat ze normaal gezien doen dat je iets hebt gemeten dat eigenlijk irl nooit voorkomt?

wiskundige proefschrift met allerlei functies; tijdens promoties toonde iemand aan dat deze heel interessante eigenschappen hadden maar dat ze niet konden voorkomen in het domein

betrouwbaarheido heeft te maken met de test-hertest: de herhaalbaarheid van het

meetresultaat is heel lastig; vb. IQ-test (als je diezelfde test herhaalt, leer je

eruit)…o beoordelaarsbetrouwbaarheid: noties als objectief zijn, ook dat

verschillende mensen die naar hetzelfde object krijgen hetzelfde moeten observeren

de beoordelingen mogen niet volledig afhankelijk zijn van de persoon die ze maakt!

gevolg: vaak wordt het door een jury gedaan…o soms gaat het ook gewoon om eerlijkheid en objectiviteit etc. (zie

centrale waarden) = niet betrouwbaarheid in zin van meten (de andere kun je wel uitrekenen)

6 Eisen van praktijkgericht onderzoek in hoeverre wijkt dit af van wetenschappelijk onderzoek? er komen een aantal eisen bij, sommige worden prominenter… voor ieder onderzoek geldt de interne validiteit heel erg: uit wat je doet moet

je juiste conclusies trekken belang van betrouwbaarheid en objectiviteit (! medisch onderzoek) heel belangrijk: de uitvoerbaarheid in combinatie met efficiëntie

o er is altijd een beperkt budget en er is toch een sterke behoefte om met zo min mogelijk inspanning zoveel mogelijk te weten komen (met 20% van de inspanning 80% van de info te weten komen)

5

het gaat er niet zozeer om om de kwaliteit van de helpdesk te determineren in allerlei aspecten, maar om op zoek te gaan naar de indicatoren, of een van de aspecten problematisch is

de resultaten moeten bruikbaar zijn voor het beleid, dit moet je van tevoren weten

o die bruikbaarheid moet op voorhand vaststaan eigenlijk…o als het niet goed was, willen ze sterke aanwijzingen ivm hoe verbeteren

niet (per se) belangrijk:o externe validiteit

de resultaten mogen of moeten gelden voor een specifiek geval vb. geen iq meten met weegschaal

=> niet belangrijk hoe het zit met de concurrenten of gelijkaardige organisaties?

gewoon weten: hoe goed is onze helpdesk? minder geïnteresseerd of hun instrument ook voor andere

helpdesks zou werken als onderzoeker wel interessant: goed monitorinstrument ook bruikbaar voor andere organisaties [daar zit voor universiteiten vaak de winst voor dergelijke projecten]

o consequentie: experimenteren is er niet echt bij: je kunt niet zeggen: probeer de ene helft zo en de andere zo…

uitzondering wel bepaalde experimenten in bepaalde regio en kijken naar de verschillen in effecten, maar dit kost heel veel moeite en is heel uitzonderlijk, vooral als je vooraf al een sterk vermoeden hebt over wat eruit zal komen

7 Breed Platform Verzekerden en Werk7.1 Wat is het BPVenW? Je moet info opzoeken over de organisatie, je moet ze leren kennen en ze heel

veel vragen kunnen stellen bij het eerste gesprek; je moet de contactpersoon met meer vragen achterlaten dan hij jou gesteld heeft

Wat is het dus?o Een organisatie die leeft van informatieo In Nederland zijn een heleboel mensen die problemen hebben op het

vlak van arbeid en verzekeringen (vb. arbeidsongeschikt raken door hun werk, mensen met een handicap die aan werk willen komen of een eigen bedrijf willen beginnen…). Voor al die zaken zijn er voorzieningen, er is heel veel informatie. Het Breed Platform probeert al die informatie in een centraal punt bijeen te zetten over al die verschillende aspecten (financiële, wettelijke…) voor verzekeraars, werkgevers, gewone mensen...

Dat BP is min of meer een particulier initiatief, maar het is een gesubsidieerde organisatie. Zij leveren informatie in ruil voor het geld dat ze krijgen van allerlei kanten…

Om die subsidies te continueren, is het van belang dat het BP aangeeft dat ze goed werk leveren. Daarvoor hebben ze een altijd parameters: het aantal brochures dat ze versturen, het aantal telefoontjes naar de helpdesk en het aantal hits op de website… Daarvan voel je natuurlijk wel aan dat dit niet altijd veel zegt, want wat meet je daar dan eigenlijk mee? Meet je daarmee wel de kwaliteit?

7.2 Wat is precies de vraag van het BPVenW? De onderzoeksvraag van BP = 'communiceren wij eigenlijk goed?'

6

o organisaties geven je vaak een heel algemene vraag, dus je moet hen sturen om die zo concreet mogelijk te maken

7.3 Wat is het belang van het BPVenW bij de vraag?het belang van die vraag: ze hebben die gegevens nodig om subsidies te krijgen

7.4 Wat is het belang bij de resultatenze willen weten wat er moest gebeuren om het beter te maken

7.5 Wat zijn de randvoorwaarden van het BPVenW? beperkt financieel: 20.000 euro beperkt in tijd, want ze moesten een evaluatierapport opleveren binnen een

bepaalde tijd (half jaar) er speelde wel nog meer mee, met name voor die helpdesk; in bepaalde

periodes zijn er veel meer contacten dan anders, vooral als er nieuwe wetten of regelgeving komen…

7.6 Wat betekenen de randvoorwaarden van het BPVenW? het BPVenW 'handelt' in informatie via verschillende kanalen: brochures,

website en helpdesk 'handel' verloopt indirect via subsidies; cliënten betalen zelf niet voor

informatie om subsidies te krijgen/continueren moet het BPVenW zijn nut bewijzen, dwz

moet effectief, kwalitatief goed communiceren

7.7 Vraag van het BPVenW evalueer onze brochures evalueer onze website evalueer onze helpdesk

randvoorwaarden tijd betrekkelijk kort budget zeer beperkt

randvoorwaarden UU weinig mankracht [of enkel uitvoerend, niet gekwalificeerd, kunnen geen

meetinstrument ontwikkelen, kan niet bij expertevaluatie]

7.8 Onderzoeksvoorstel op basis hiervan een ervan: het projectvoorstel [zie reader] een belangrijk aspect: de organisatie overtuigen van hoe je dit op een goede

en efficiënte manier gaat doeno zij dachten dat het ging over: is het begrijpelijk, staan er geen

taalfouten in?o ze hadden echt geen idee van hoe je de helpdesk kon evaluereno moesten hen vertellen dat je voor de beoordeling van folders normen

moet ontwikkelen en dat gebruikers heel specifiek dingen zoeken, brochures moeten gebruikersspecifiek zijn

wij kijken heel functioneel naar deze brochures: hoe bekijkt een lezer deze, met welke vragen leest deze ze, vindt hij zijn antwoord erin (of op de website)

hoe wordt dit gedaan?o door scenario's te ontwikkelen en op basis daarvan te kijken wat de

randvoorwaarden zijn voor het taalgebruik etc. in de brochures

7

o dit doe je als expert, je leeft je in in die situatie en bekijkt de teksten vanuit dit perspectief en bedenkt waarom bepaalde passages tot problemen leiden en andere niet

o die scenario's zijn ontwikkeld samen met het BP: wat voor cliënten krijgen jullie? en dus op basis daarvan bepalen wat voor vragen ze vaak krijgen - zo zorg je ervoor dat je daar een antwoord op kunt zoeken

o met diezelfde scenario's en op diezelfde manier keken ze ook naar de website

o resultaat: direct verbetersuggesties zonder dat er proefpersonen bij te pas komen

o beperkingen, want echte gebruikers komen nog andere problemen tegen natuurlijk, maar je weet dat je een groot deel van de problemen al zult oplossen op basis van deze methode

o ontwikkelen van een evaluatiemethode, een monitorinstrument om continu te evalueren voor de helpdesk

dus: onderzoeksvoorstel:o evaluatie website en aantal brochures met expertevaluaties dmv

scenariomethodeo evaluatie van helpdesk met survey (monitorinstrument)

7.9 Helpdeskmonitor Waarom gekozen voor een survey? Wat waren andere opties geweest?

o Waarom gekozen voor een elektronisch survey en niet voor een papieren

versie?o te tijdrovend en makkelijker

Waarom werden deze vragen gesteld en geen andere? Hoe is het precies uitgevoerd? Waarom op deze manier? Wat zijn de ervaringen ermee?

o nog niet specifiek genoeg ivm het begrip van de problemen

7.10 Wanneer kies je nu in zijn algemeenheid voor een survey? Wanneer je beschrijvende en evaluerende vragen hebt en voor de beantwoording daarvan grote groepen mensen nodig hebt (meer

dan vijf of tien, tientallen) Standaardisering van de vragen is mogelijk, maar ook wenselijk vooraf: meer geïnteresseerd in 'gemeenschappelijkheid' (wat mensen delen)

dan 'verschillen' (die je achteraf wel kunt duiden, maar daarmee kom je al vlug in een experimentele fase)

achteraf: verschillen in steekproef wel te duiden natuurlijke omstandigheden: geen gecontroleerde, laboratoriumsetting nodig

o geen gefingeerd gesprek in een laboo je wilt inzicht hebben in hoe natuurlijke gesprekken verlopen zijn

III Derde les [10/10]1 Opdracht survey Het survey moet elektronisch afgenomen worden… Hoe? Classaps (ook gebruikt voor BPV&W) Doel: onderzoek e-mailprobleem

o Het stukje dat we moeten schrijven, moet beperkt van omvang zijn, want managers weinig zin in lezen en niet zo goed in lezen - beter in puntjes werken vb. dan in vijf lange alinea's

Nu: kijken naar de helpdeskmonitor, hun overwegingen toen bespreken

8

2 Een survey Wat lastig is bij surveys…

o survey = tussenstap tussen onderzoeker en respondento dus: eisen die je normaal stelt aan onderzoeker, moet je ook stellen aan

je survey dus: eerlijkheid, objectiviteit… mensen moeten in staat zijn om eerlijk en objectief etc. te

antwoordeno vb.: niet als vraag 'sla je je vrouw?' 'zelden/twee keer per week/…'

Een survey moet voldoen aan de eisen van praktijkgericht onderzoek => hiervoor gelden alle eisen voor wetenschappelijk onderzoek maar niet de externe validiteit

o het doet er niet toe of het in het algemeen ook zo is; er worden geen generaliseringen verwacht… => de generaliseerbaarheid moet er wel zijn (binnen de universiteit of de faculteit) maar verder dan dat niet

3 BPV&W levert allerlei info voor alle mensen die te maken hebben met verzekeringen

en werk website werd wel redelijk druk bezocht, maar was eigenlijk absoluut niet

geschikt om info op te zoeken ze hadden wel het idee dat enkele van hun werkinstrumenten niet ideaal was wilden wat meer zicht op de verspreiding, opdrachtgever twijfelde zelf heel

erg over de kwaliteit van de inhoud van heel veel brochureso veel van die teksten werden door juristen geschreven

probleem: helpdesk = duur, dus moet echt renderen zij wilden oa van hem iets weten over de website

o zijn idee vanaf het begin: bekeken de media altijd apart, terwijl die net elkaar aanvullen, wat is de functie van het een tov het andere

o relatie tussen helpdesk en website bv.: de medewerkers gebruikten vb. heel vaak de website als bron van info, maar die was blijkbaar voor de cliënten zelf heel slecht toegankelijk

maar: tijd en budget was dus beperkt randVW: vooral voor een helpdeskonderzoek

o de gegevens van de cliënten die bellen, zijn geheimo vrouw of man = moeilijko leeftijd ooko derde, wat ook heel problematisch was: inkomen

kortom: ze hadden met heel wat gevoelige info te maken Waarom een survey?

o een andere mogelijkheid was kijken hoe echt de gesprekken verlopen ze ontdekken dat er een tamelijk groot begripsprobleem is; dat

er heel veel mensen zijn die op een of andere manier niet begrepen hebben wat ze verteld is aan de telefoon

dit kun je vaststellen uit een survey, maar als je had geluisterd naar de gesprekken, was je er misschien achtergekomen waarom dat zo is

o dat kon hier niet, omdat dit een heel arbeidsintensief werk is, het vergt heel veel tijd om een substantieel aantal gesprekken op te nemen - alleen al aan opnemen kost het heel veel tijd, ook scoresysteem uitdenken etc… => kost dus heel veel tijd en daarom geld, vandaar hier niet

9

o dus: via survey op goedkope en snelle manier resultaato + tweede iets wat meespeelde: als je communiceert in een organisatie,

ben je zelf verantwoordelijk voor de kwaliteit van die communicatie. Het gaat ook nog iets verder, want je bent ook zelf verantwoordelijk om te zien of die kwaliteit gehaald wordt, dat hoort bij je professionele houding.

dit heet dan 'monitoring', continu proberen vast te stellen of het kwalitatief is - dit moet continu een onderdeel van je werk zijn, je moet het niet 1 keer om de vier jaar doen…

Waarom elektronisch?o omdat je er verder geen omkijken meer naar hebt, gewoon een kwestie

van inloggeno i.c. moest die aan de helpdesk gewoon het e-mailadres vragen van een

persoon, dan kregen zij een e-mailtje met enkel een link en een heel kort introducerend tekstje en zo kwam je in de vragenlijst terecht

al die linkjes hadden een unieke code, die werd door dat programma zelf gemaakt

na de reminder was er 70 of 80% respons - wellicht een of ander psychologisch effect (anders blijven ze me lastigvallen)

o invullen van het formulier levert je meteen een spreadsheet op en er zit dus een hele administratie achter

4 Hoe is de survey uitgevoerd? OPM.: we kunnen allemaal theorieën bedenken (of theoretische constructen of

verschijnselen met elkaar in samenhang proberen te krijgen)… voor een deel zitten ook elementen in die vragenlijst die gebaseerd zijn op

theorieën bij onze survey, wat we ons wel mogen afvragen = is er al onderzoek naar

factoren die overbelasting veroorzaken?o overbelasting in het algemeen; zijn er al verklaringen voor bedacht

ooit…o vb.: programma voorbereiding op marathon (je moet combi

krachttraining én looptraining doen) dus je moet er dan naar vragen of ze krachttraining doen…

deze vragenlijsto pagina 4 en 5: hier begint de vragenlijst

INHOUDELIJKE EFFECTEN: het belangrijkste punt van hen: hoe meet je het uiteindelijke inhoudelijke effect van een gesprek, want je weet nooit van jezelf of je iets begrepen hebt… = dit is het lastige van een survey, je kunt niet toetsen, je kunt enkel vragen naar opinies en feiten => hebben ze gesnapt wat de oplossing is en of ze het moeten doen en hoe ze het moeten doen?

HOUDINGSEFFECTENo perspectief tov BPV&W: mensen moesten een positieve houding tov

BPV&W overhoudeno ook perspectief tov klanten moet er zijn, zij moeten een zekere mate

van vertrouwen hebben tov de info die ze gekregen hebben GESPREKVERLOOP

o aandacht: had je het idee dat je serieus genomen werd GESPREKVAARDIGHEDEN

o misschien niet precies meten, maar wel weten of er iets problematisch aan zit of niet => moet je hier wel of niet nog aandacht aan schenken

kunst: enkele hele eenvoudige vragen om een aantal van die indicatoren te meten

BRONEIGENSCHAPPEN = geloofwaardigheid van de zender

10

o enkele van deze toegemeten eigenschappen hangen heel nauw samen (volgens heel veel onderzoek) met het gezag, het vertrouwen, de overtuiging van de organisatie, hoe je overkomt

deskundigheid, sympathie en onpartijdigheid (dat de helpdeskmedewerker zelf geen belang had bij de info die hij gaf)

o als je hier slecht op scoort, weet je als zender dat je een probleem hebt

4.1 Inhoudelijke effecten mensen moesten dus zelf aangeven op wat hun vraag was en wat hun

antwoord waso dit wordt al geregistreerd in callregistratieso alle vragen en antwoorden uit de survey werd vergeleken met dezelfde

info uit de callregistratie door deskundigen van het BPV&W (drie onafhankelijken ervan; dwz geen contact met elkaar, wisten niet wie het moest doen)

o dit moet matchen, er moet overeenstemming zijn ivm het antwoord, dat bepaalt het succes

de formulering van de inhoudelijke effecten is sterk gebeurd in overleg met het BPV&W, daar is geen theorie over, het gaat over de aard van het werk van die specifieke organisatie en die bepaalt voor een belangrijk deel hoe je naar een inhoudelijk effect kunt kijken

o vb.: in ons geval als het gaat over e-mail = iets anders dan telefonisch lastig gevallen worden door verkopers

4.2 Uitvoering kozen een paar reguliere weken en een periode van drie weken => toch een

substantiële hoeveelheid data vragen

o wat is uw leeftijd? alternatieven: geboortejaar, duid groep aan nadeel van vragen naar categorieën: je reduceert je data, je hebt

bepaalde gegevens niet meer, je weet niets precies voordeel voor beantwoorden van specifieke leeftijd of

geboortejaar vragen: dat weten mensen feilloos, want bv. als je 25 bent, waar hoor je dan bij?

o dit soort vragen wellicht beter op het einde dan in het begin [alles van persoonlijke dingen], al is het maar om niet de indruk te wekken dat bv. het verschil man/vrouw ertoe doet voor de rest van de resultaten

o globaal schoolcijfer op het einde: je wekt de indruk dat alle schalen tussenin er al toe

deden in het begin: werkt anders, daar is het een totaal blanco

evaluatie van de tekst die je net gelezen hebt voordeel van zo'n heel globaal schoolcijfer te vragen: het is een

schaal die we allemaal kennen en met elkaar delen, is bijna een soort van geobjectiveerde schaal

man/vrouwo naast elkaar = neemt zo min mogelijk ruimte in

ervaring meten: hoe vaak heeft u eerder gebeld? pagina-aanduiding = heel plezierig, je weet dat het eindig is bron van inkomsten

o typisch een vraag waar een paar mensen heel boos op reagereno BPV&W wilde dit, het bevatte voor hen relevante info

11

o heel specifieke doelgroep voor hen: eigen onderneming opleidingsniveau: groot probleem, namen voor het onderwijs veranderen heel

de tijdo probeer dit dus zoveel mogelijk te preciseren

p. 11: hier begint het spannend te worden…o bereikbaarheid => twee vragen: moet zo simpel mogelijk zijno zijn met schalen en stellingen gaan werken

OPM.: zo'n monitor geeft enkel indicaties voor het probleem! p. 13: die open vraag

o probleem: zeggen tevreden te zijn met het antwoord, maar ze hebben het niet begrepen…

o = vb. van hoe twee vragen in combinatie van elkaar veel meer info geven dan die vragen apart; dit leidt tot een accumulatie van info

p. 16: algemene oordelen ivm helpdesk OPM.: voor wetenschappelijk onderzoek moet je altijd minstens drie vragen

hebben per onderwerp, pas als die correleren kun je iets aantonen dit gaat om rechttoe rechtaan vraag en antwoord

hun ervaringen hiermee waren heel erg goed, voor BPV&W ook, ze willen dit echt als monitorinstrument gaan gebruiken, ze willen dat wel via een onafhankelijk onderzoeksbureau doen…

de hoge respons is in strijd met wat alle internetdeskundigen bewereno hoger door de administratie, de reminderfunctie!o blijkbaar neem je het dan serieuzer of vind je het belangrijker

5 Basisvragen bij surveyontwerp WAT ga ik vragen AAN WIE en HOE? het wordt ietsje ingewikkelder als je gaat nadenken wat daarachter schuilt vb.: de 'wat' = van onderzoeksvraag naar operationalisering

o onderzoeksvraag: hoe 'belast' zijn werknemers van bedrijf Xo het te operationaliseren iets = eigenschapsbegrip

op basis van zo'n schema kun je heel vlug zien waar je vragen naar moet stellen voor in je survey

eigenschapsbegrip/concept => dimensies => indicatoren => zo systematisch naar vragen komen

o vb. ivm overbelastheid e-mail: technisch indicator: vb. te grote attachments

o volgende stap: prioriteren: wat is echt van belang, wat is echt relevant?o derde ding: wat is controleerbaar en veranderbaar, wat is in beleid te

vertalen? HOE?

o mondeling of schriftelijk?o open of gesloten? => zie p. 233 Baarda en De Goedeo goede surveyvragen zijn

eenvoudig = het ALLERbelangrijkste daarom lopen referenda helemaal mis - de vragen zijn veel

te ingewikkeld om kort op te kunnen antwoorden eenduidig beperkt in bereik: een ding tegelijk objectief: niet suggestief of veronderstellend

o antwoordmogelijkheden (is van groot belang voor de verwerking!) nominaal: dat meet je, in categorieën ordinaal: je probeert iets op een rangorde te zetten interval: meet je met schalen

12

ratio-niveau: meet je met schaleno open: tekstbox; gesloten: aankruisen, schalen

AAN WIE?o is heel belangrijk, hoe kom je aan de steekproef?

a-selecte gestratificeerde: mensen van alle opleidingsniveaus => dan

moet je mensen stratificeren meertrapssteekproef: aantal keer achter elkaar

o steekproef =/= je respons; je moet aan het einde van je onderzoek altijd heel goed nagaan hoe je responsgroep eruit ziet en of de mensen die je in je steekproef wou onderzoeken, ook effectief geantwoord hebben

IV Vierde les [17/10]1 Survey e-mailoverload Kijk kritisch naar wat collega's gedaan hebben Denk terug aan wat je zelf hebt gedaan en probeer van daaruit een scherp

beeld te bouwen van je steekproefo zes faculteiten + algemeen administratief personeelo eerst stratificeren op faculteit of algemene administratie, daarna op

docent of professor/assistent/administratief personeel. Na deze stap een steekproef per groep van 10% met een minimum van twee personen. Steekproef: iedereen nummeren en pc laten kiezen.

Goede instappen of we juiste keuze hebben gemaakt => interviews met enkele mensen (wat leeft er echt) + daarna bijstellen

Eventueel pretest maken Gewoon door een collega laten nalezen en vragen of er volgens hen dingen

zijn die echt ontbreken Toetsen aan onderzoeksliteratuur, eerdere gelijkaardige ondervragingen Overbelasting => indicatoren

o Angsto Gevoel van incompetentieo Onmacht, geen controle meer hebbeno Sociale dimensie

Vb.: mensen spreken je aan dat je niet op e-mails hebt gereageerd

Je hebt het idee dat iedereen verwacht dat je meteen reageert op e-mail

Populatieo wetenschappelijk medewerkers 2200o administratief personeel 1100o studenten 12000

V Vijfde les [24/10]1 Survey Over het geheel 'niet ontevreden'

o MAAR wek niet de verkeerde indruk in je nota!o Moet op zich kunnen staan zonder toelichting

Vb.: zeggen dat je een onderzoek zowat integraal hebt overgenomeno Je wekt niet de indruk dat je hard hebt nagedacht over het onderzoeko Op zijn minst zeggen waarom dat bruikbaar zou zijn

Rector: indruk dat het persoonlijk is Inhoud, structuur, stijl en vormgeving

13

o Altijd grotere linkermarge dan rechtermarge!! Er moet ruimte zijn voor notities

o Lettertype 12 is bijna altijd te groot, regelmarge anderhalf ook Best 1,15 of 1,2

o Aandacht besteden aan opsommingen Werken met bolletjes, opsommingen Beknopt: enkel lijstjes, statements en motivaties

STIJLo Niet aanspreken met 'je' behalve in de betekenis van 'men'o Moet efficiënt zijn

STRUCTUURo Is erg belangrijk: lezer moet zien wat de relatie is tussen de

verschillende onderverdelingen 3.11 = te veel onderverdelingen!

o Niet over hoofdstukken praten in een rapport van die omvango Samenhang tussen verschillende onderdelen moet heel erg duidelijk

zijno Inleiding, vraagstelling

Wat is precies de hoofdvraag en wat zijn de subvragen? INHOUD

o Antwoord op de vraag van de klant Moet beginnen met dat mw UA probleem ervaren Eerste zin moet beginnen met 'De universiteit van Antwerpen'

o Afgestemd op de klant Die wil er zo beknopt mogelijk van overtuigd worden dat het

onderzoek dat uitgevoerd zal worden van toepassing is Die is niet geïnteresseerd in theoretische verhandelingen, wat

gaan ze onderzoeken, wat is de vraag en waarom stellen ze die Heeft wat je voorstelt validiteit, lijkt het op het eerste gezicht

zinvol?o Laat zien dat er een investering heeft plaatsgevonden

Iedere organisatie wil laten zien dat ze bijzonder iso Rapport moet inhoudelijk de vraagkeuze goed verantwoorden!

Gaan de vragen over e-mailoverlast? Waarom meet je stress, en waarom meet je dan die aspecten

van stress? Als het gaat over stress, in welke vragen meet je dat dan? Ook antwoordopties moeten verantwoord worden !! Vooral schalen

o Het moet in het rapport heel duidelijk zijn wat een feit is, wat een mening is en wat een geobjectiveerde mening is

2 Tine, Ilse, Alexander, Lore en Henri Geen sterke titel

o e-mailoverlast = heel negatief en saaio wel duidelijk

Inhoudsopgaveo Hier zie je dat ze een rapport verwarren met een boeko Is wat overbodig hiero Je kunt best een indicatieve inhoudsopgave geven => verwijzen naar

paginanummers = overbodigo Literatuurverkenning = wetenschap, rector zit daar niet op te wachten

Dit rapport mist de goede toon in de inleiding

14

o Eerste alinea: specifiek toeschrijven = lijkt particulier initiatief waar je je eigenlijk van distantieert

o 'wenst te laten uitvoeren' = negatiefo Perspectief in de inleiding: dat niet het onderzoek zelf centraal staat,

maar de uitkomsten ervan in het licht van wat de organisatie ermee moet doen

o Je mag niet suggereren in de inleiding dat de oorzaken al bekend zijn (De docenten hebben namelijk het gevoel dat de drempel om een e-mail te sturen te laag is voor de studenten)

o In de inleiding gaat het over de methode: waarom een survey, wat daar makkelijk aan is…

o Bedoeling van zo'n inleiding is eigenlijk: wat is de vraag?o Ook definitie hoort eigenlijk niet in de inleiding thuis

Op zich wel een goede definitie, maar slecht geformuleerd Vooral het moment waarop??

Literatuurverkenningo Rector vraagt zich af waarom hij dit moet lezen? [11 jaar oud]

Heel goed in dit rapport: 3o Enkel: dit is een opsomming => in een lijsto Als je er een selectie uit gaat maken, maak je die nu direct ipv er

honderd te noemen en dan daaruit te selectereno Laatste zin:

deze verschijnselen = heel vaag leidraad doorheen ons onderzoek = vager kan eigenlijk niet

4.1: typisch een goeie passage in een verkeerde teksto hoeft niet in een rapport, je hoeft de rector niet op te leiden

4.2: geen relatie tussen thema en argumentatie (daarom aselect)o steekproefvorm hangt af van het soort vraag

heel goed p. 5: overzichtje indicatoren in lijsto wat hier niet mag: verwijzen naar vraag zoveel en zoveel

in je survey, als je 'angst' meet, mag je dat niet vermelden => de vragen moeten voor zichzelf spreken

vraag 1: waarom deze schaal? vraag 2: waarom is dit een relevante factor? vraag 3: relatie agenda en e-mailoverlast vraag 4: heel goed hieraan = meest efficiënte manier om veel vragen te

stelleno altijd oneven schalen!o middelpunt 'neutraal' => mag je niet zo aanduiden!!!!o daardoor maak je er 'nominale' schalen van, terwijl dit net gebruikt

wordt om interval te meteno wel een goede vraag

volgende vragen: waarom deze schalen? relatie vragen naar de feiten + oordeel erover: vind je dat te veel of te

weinig? !! specifieke vragen over de inhoud van e-mails

3 Hase inhoudsopgave zelfde probleem inleiding = goed 2.2 => je => moet MEN zijn?? te veel paragrafen

15

3.1: raar perspectief, moet algemeen zijn: wie wordt hier eigenlijk aangesproken?

o nog belangrijker: die omschrijving = is heel circulair (overlast is natuurlijk heel hinderlijk)

3.2: wtsch ipv adviseuro ipv leidt vaak tot => kan leiden toto niet 'deelonderzoek'o in de formulering van de laatste zin gaat het helemaal mis: wordt in dit

onderzoek niet specifiek aandacht aan besteedo voldoen aan die normen gaat niet om feiten, maar over gevoel,

beleving ervan 3.3 => tweede lijkt niet de vraag, zou niet lukken in een survey: oplossingen

kun je uit een survey nooit halen 3.4: schema = heel goed technisch einde 3.2 3.4: veel meer uitwerken: hoe van schema naar vragen en

antwoordmogelijkheden => uitwerken 3.6: duidelijk maken waarom integraal overgenomen

o valide, vergelijkbaar… 3.6: ettelijke => lijkt alles zo makkelijk en simpel… heel goed om je af te vragen bij elke vraag: wat betekent dit voor de analyse

die je gaat doen, wat kun je technisch doen met het antwoord op de vraago meenemen in variatieanalyse: data-analytisch kun je er heel veel meeo hoe kan ik de vragen combineren zodat ik er meer over te weten kan

komen vraag achttien = de vraag 'schat' niet 'in' te specifiek over vragen! moet per groep van vragen die een

operationalisering zijn ipv je => u tweede vraag: niet 'wat is je geslacht' => gewoon man/vrouw goed ivm 'hoeveelheid e-mail'

o mss ipv gemiddeld per dag => op basis van vorige week?o vraag 15: goede vraag, maar eerste deel weg (nooit ??)

vraag 9o 'ik ben over het algemeen stressbestendig'o zoek een betere indicator voor stressbestendigheid

vb. ik maak me niet zo snel druk om dingen of ik kan goed tegen hard werken of ik vind het wel plezierig als er wat druk op mijn werk zit

o is suggestief

4 Bijlage…: Sophie, Eric, Anneleen voorkant mooi qua lay-out nooit verleden tijd gebruiken in dit soort rapporten! aandachtspunten (3) = heel goed in inleiding wordt toon enorm gezet

o geconfronteerd wordeno overspoeldo veel kostbare tijd verspilleno te pas en te onpaso hierin zit niet de distantie die je van een onderzoeker verwacht

steekproef komt amateuristisch over te veel paragrafen

16

pagina over ontwikkeling en uitwerking (van wat??): veel te oppervlakkigo weinig tot geen literatuuro heel kort aangeduid waar het over gaato lezer: vraag - het hadden kennelijk ook hele andere dingen kunnen zijn,

lijkt heel willekeurig wel goed: onderaan deze pagina - over het gebruik van schalen en waarom 6.2: naar alle docenten en studenten er zou toch een steekproef zijn??

o interne consistentie is van groot belang ivm de prijzen => veel beter dat je ze gewoon overtuigt van het belang om

mee te werken, dat het voor hen gedaan wordto maar goed om over na te denken…

leeftijd, geslacht etc => beter ook op het einde, wekt anders de indruk dat het daarvan afhangt

studento is dat belangrijk in welk jaar ze zitten?o docent komt er nog maar achteraan rangen en standen liggen heel

gevoeligo gaat te nadrukkelijk in op de student

waarom is de inhoud van die berichten zo van belang voor het gevoel van overlast?

o beter algemene vraag: e-mailt u veel over onderwerpen die u eigenlijk van ondergeschikt belang vindt?

heel goed: vraag negen en tieno gewoon: hoeveel berichten

probleem bij tijdsbesteding: moeilijk te bepaleno eerder: vindt u dit (te) veel?o het gaat echt om die BELEVING van tijd en druk

bij 14 en 15: vreemd dat er andere schalen gebruikt worden 13: ??? 16 tem 21 ipv 1 kader? kon in zes regels (schalen in tabel) vraag 30 = heel belangrijk

5 Inleiding observatieonderzoek alledrie fan van schrijfprocesonderzoek

o Daniël: beleidsteksteno Luuk: overgang pen en papier => toetsenbord en muiso spraakprogramma's

Vb.: als scout bij de voetbalo Hoort Wesley Sonck niet in de basis van de Rode Duivels?o Tegenwoordig kun je dat registreren met een programma en kun je

kijken naar de spelverdeling of de prestaties van 1 speler We gaan observeren (kijken naar de werkelijkheid) en registreren

(opschrijven) Type onderzoek

o iets meer naar exploratieve en beschrijvende kanto eerder kwalitatief dan kwantitatief

kost veel tijd je kunt niet zoveel mensen bekijken het kan kwantitatiever worden

vb.: hoeveel goals worden er gescoord?o eerder etnografisch dan emp-analytisch

werkelijkheid heel belangrijk in dit onderzoek DOEL: verzamelen gegevens over 'feitelijk' gedrag

17

o survey: baas leest dit ook, best niet te negatief op antwoordeno hier zie je wat er echt gebeurt

belangrijkste voordeel: het gaat om ECHT gedrago dan mag je er ook geen richting aan geven!o heel objectief noteren

vb.: pakt bal met linkerhand, oogcontact… nadeel: kost veel tijd en dus ook veel geld !! in een laboratoriumsetting in natuurlijke setting

5.1 Het schrijfproces 198881: Flower & Hayes (heel veel kritiek, maar heel belangrijk model)

o een van hun belangrijkste bevindingen: recursiviteit is een belangrijke indicator voor cognitieve belasting bij het schrijven

o recursiviteit: terug gaan in de tekst, aanpassingen gaat maken…o moeilijker = grotere recursiviteit = duurt langer, meer pauzes

die pauze staat min of meer gelijk aan een grotere cognitieve belasting

OBSERVATIEONDERZOEK BIJ SCHRIJVENleveren data op voor onderzoek naar: cognitieve processen bij het schrijven tonen schrijfstrategieën (waarin verschillen goede schrijvers van slechte schrijvers?) schrijfontwikkeling (waarin verschillen beginnende schrijvers van ervaren

schrijvers?) L1 versus L2 (waarin verschillen moedertaalschrijvers tov

tweedetaalschrijvers?)

voorbeeld schrijfontwikkelingo knowledge craftingo vanaf een bepaalde leeftijd kan een kind een tekst formuleren…o knowledge crafting volgens een bepaalde theorie komt pas op je 22-23

INSTRUMENTEN (volgende week) hardopdenken/hardopwerken eyetracking toetsregistratie/keystroke logging

o kijken naar het schrijfproces: welke toetsen worden ingedrukt, hoelang zijn de pauzes ertussen

o = hulpmiddel om te kijken hoe je schrijfproces in elkaar zito leuk weetje: bij complexe taak is 80% van je tijd pauzeo iedere toetsaanslag, muisbeweging en pause wordt geregistreerdo je krijgt dan een databestand op basis daarvan en dan begint het werk

paso bij survey verzamel je je data en heb je op een namiddag een analyse;

terwijl bij observatieonderzoek achteraf pas het werk beginto je krijgt heel andere data als je gewoon je tekst ziet dan de data uit

keystroke logging het levert je veel en andere info op over het proces tot het

eindproduct ipv enkel het eindresultaat is ontstaan op de Macintosh JEdit & Trace-It begonnen hebben beide beperkte zelfontwikkelde tekstverwerker

o irl Word, vet zetten, alinea's…

18

Trace-It heeft een module waardoor je het stap voor stap opnieuw kunt bekijken

Scriptlogo Windowso beperkte zelfontwikkelde tekstverwerkero eyetracking: gaat na waar je naar kijkt

altijd evenwicht: is het een natuurlijke situatie of niet? [helm op] Zelf iets bedacht: inputlog

o Windows (in Word, maar kan ook in Explorer…)o bekende tekstverwerker: MS Wordo registratie van

toetsaanslagen muisbewegingen spraakherkenning

o analyse op verschillende niveaus proces en tekstkenmerken pauzegedrag => cognitieve belasting revisiegedrag monitoring van schrijfmodus

Nieuwe opdracht: inputlog genereren van verschillende soorten data bij schrijftaak:

o algemene basisdatao lineaire schrijfdata = chronologisch

periode of intervalo pauzedatao samenvattende statistische data

VI Zesde les [31/10]1 Wat doen we vandaag?1.1 Observatieonderzoek voorbeelden Stappen Validiteit en betrouwbaarheid1.2 Bespreking opdracht Opzet Procedure Resultaten (normaal gezien veel meer tijd!!) Discussie

2 Inleiding Observatieonderzoek: analyseren feitelijk gedrag

o Observatieformulier (! heel objectief weergeven wat je ziet): linkerhand pakt blauw blok jongen kijkt verzorger aan jongen manipuleert blokkenspel

o Productdata geven ander beeld dan procesdata

3 Voorbeelden Persoonlijke observaties

o Hoe lang duurt het om een aankoop te doen? (logging van tijd)o Welke weg legt de gebruiker af om een aankoop te doen? (logging van

route)

19

o Wie staat er bij een bepaalde parkeerplaats van een winkel? (kentekenplaten)

o Wat is de prijs die winkels hanteren? (mystery shopping) geen prijslijst vragen - geven andere prijzen op, blijken niet echt

te kloppen Mechanische observaties

o Wat is het aankoopgedrag? (scanners, cookies, credit card gegevens) Vb.: dvd kopen in winkel (gaat hij kijken? waar vergelijkt hij mee?

gaat hij enkel naar 1 afdeling?) of online (welke route leggen mensen daar af? volgen mensen de links die bv. Amazon geeft 'andere mensen die deze dvd kochten waren ook geïnteresseerd in)

o Naar welke programma's kijken mensen? (Nielsen box) registreert binnen een huisgezin wie naar welke zenders kijkt en

voor welke duuro Hoe bekijken mensen advertenties? (eyetracking)

waar kijken ze naar bij de navigatie van een websiteo Hoe schrijven mensen? (logging)

ook daar kun je een combinatie maken van persoonlijk en mechanisch

Je kunt verschillende combinaties maken en je moet bij onderzoek erover nadenken welke combinatie je gaat maken

Analyse: manueel - semi-automatisch - automatisch Je moet altijd de afweging maken: wanneer wil ik invloed uitoefenen op het

proces en wanneer wil ik dat echt niet?o Vb.: doorzichtige plaato Je kunt er naar vragen: stoorde het je tijdens deze opdracht dat ik

aanwezig was?o Wees je ervan bewust wat jouw aanwezigheid voor effect heeft

Aandachtspunteno Bij observeren zie je alleen WAT er gebeurt en niet WAAROM iets

gebeurt Als je het WAAROM wilt weten, moet je het bv. combineren met

een interviewo De fysieke aanwezigheid van een observator KAN invloed hebben op

het gedrag van de proefpersoon Wees je ervan bewust dat het gedrag dan varieert Zelfs los van fysieke aanwezigheid, vb. bij Inputlog besef je dat

de resultaten verwerkt zullen worden Stappen

o Bepaal je onderzoeksvraago Bepaal wat je wil observereno Bepaal via welke methode je gaat observereno Bepaal hoe je de observatie gaat registreren

Vb.o Wat is het adaptatieproces van beginnende gebruikers van

spraakherkenning? Hoe verandert dit het schrijfproces?o Wat wil je observeren: frequentie, duur, intensiteit, overig

Zij keken vooral naar de fouten in de tekst, de revisies Heel belangrijk: je data zo schoon mogelijk houden, dingen die er

niet bijhoren eruit filteren vb. telefoon tijdens tekst schrijveno Registratiemiddel?

Videocamera

20

Observatieformulier Logging-apparatuur

[aantal slides hiertussen] Gedragsobservatie

o To experience what is going on in a painter's head, it is sufficient to observe his hand.

o Weten we nu echt wat er in het hoofd van Picasso omging? Nee…o We kunnen wel uit gedrag verschillende hypotheses afleiden. Meer

informatie verkrijgen door: Eyetracking Hardopdenken Retrospectief interview: voordeel: tijdens de opdracht

concentreren ze zich enkel daarop nadeel: hoe nog weten wat ze tien minuten geleden dachten?

Methodes in het artikelo concurrent thinking-aloud (simultaan) = CTAo retrospective thinking-aloud (retrospectief) = RTAo constructive interaction (in teamverband)

Deze variëren in de mate van directheidDirecte observatie Indirecte observatie

Synchrone dataverzameling

CTA Procesregistratie

Asynchrone dataverzameling

RTA Productkenmerken

Voorbeeldo VRT-onderzoeko Twee kamers: in ene kamer iemand die met spraakherkenning werkto Morae = usability programma: researcher kan tegelijkertijd volgen wat

de ander op zijn scherm zieto Je kan ondertussen ook vlaggen zetten (vb. telkens er iets fout gaat

met de spraakherkenning); je kunt die meteen in categorieën steken (technische fouten, revisies…)

o Retrospectief intervieweno Voorbeeld (printscreen) van Morae

4 Opdracht Inputlog observatieonderzoek4.1 Waarom gekozen voor deze opdracht? Context: brieven hebben meer aanzien dan e-mails. Ontvangers geven aan

dat ze 'het gevoel' hebben dat een brief meer energie heeft gekost. Zien we hier iets van terug in de procesdata?

o Perceptie - uit onderzoek Daniël Janssen Onderzoeksvraag: heeft het medium effect op het schrijfproces Schrijf een e-mail of brief

o Zelfde thema en doelo Zelfde zenders en ontvangers

Media Richness Theoryo Vooronderstellingen theorie: media verschillen in 'richness'

Factoren die rijkheid beïnvloeden:o Signalen, prikkelso Snelheid van feedbacko Taalvariatieo Persoonlijke focus

21

4.2 Procedure Klaarzetten Inputlog (gegevens proefpersoon ingeven) Uitvoeren schrijfopdracht Afsluiten inputlog Invullen retrospectieve vragenlijst Retrospectieve vragenlijst:

o Inhoudelijk moeilijke onderdelen?o Reden?o Grondigst herschreven passage?o Reden?o Procesdata inputlog?o Mate van aanpassen?

Schrijf brief of e-mail waarin je de survey aankondigt:o …………..

Opdracht: direct retrospectieve vragenlijst na de opdracht Slide data

o duidelijk: niet vanuit gaat dat je 69 van de 69 terugkrijgt Onderzoek/resultaten/product

o E-mails zijn dus niet korter dan brieven! (in lengte, aantal woorden, aantal karakters)

o Er zijn wel meer regels in brieven dan in e-mailso Volgende stap zou zijn om te controleren en te zien waarom

Bij manuele analyse kun je bv. gaan kijken naar de kwaliteit van het producto Waarnaar kijken?

Heb je je gehouden aan de opdracht, staat alles erin wat erin moest?

Gedetailleerd: het ccc-model van Jenkema (??) op 15 punten Onderzoek/dataset

o Excel en spsso In spss statistische berekeningen

Nu kijken naar processo Algemene schrijftijdo Het schrijven van een brief duurt significant langer dan het schrijven

van een e-mail => DUS JA, het medium heeft effect op de duur van het schrijfproces

o Waardoor wordt die algemene schrijftijd nu bepaald?o Blijkbaar wordt dit bepaald door de totale pauzetijdo ! bij het schrijven van een brief typen ze meer karakters aantal

woorden verschilt niet Verklaring: woorden zijn langer (verschil is wel heel klein)

Case study Joyce en Isabelo Moeilijkheid taak kun je normaal gezien aflezen aan de pauzetijd = tot

80%o I.c. is dit niet het geval

Lange pauze van 22250: waarom staat die voor geachte?o Er komt nieuwe informatie, schrijver moet nadenkeno Backspace voor typefout = moet je niet over nadenken, geen pauzetijd

Wat tonen deze pauzes aan? Dat je er echt even over na moet denken wat je ermee doet, want je weet niet hoe je het moet interpreteren

[slides] Mogelijke verklaring: face threatening act (FTA - Brown and Levinson)

o Je moet zorgen dat je het positief inkadert => strategieën toepassen om de medewerking te krijgen

22

Operationalisering data:o ging al paar keer over pauzetijden: kun je ze bv. optellen als er een

enter tussenzit?o wat nog in het programma zit: zinnen worden gebaseerd op punten

heb je een hoofdletter en een punt, dan heb je een zin maar is niet altijd zo => vb. afkortingen… altijd goed uitkijken met wat je aan het onderzoeken bent en het

middel waarmee je het doet: is het eigenlijk wel de info die je wilt hebben en wat zegt het je

o zijn zich ervan bewust dat het onderzoek mooier opgezet zou kunnen worden

o wat zijn aandachtspunten Discussie

o Procesanalyse: automatisch - manueelo Productanalyse: minimaal - uitvoerig

Vooraf gepland, erover nagedacht of niet…

VII Zevende les [14/11]1 Kwalitatief onderzoek1.1 Uitdagingen voor kwalitatief onderzoek: inleiding Typisch: diverse databronnen, begrijpen, flexible opzet

o vb. helpdesks momenteel redelijk belangrijke rol in allerlei organisatieso die helpdeskgesprekken = terrein waarop je niet alleen kunt tellen,

vergelijken, maar ook kunt zien hoe precies de verschillende stapjes in elkaar haken

het gaat dus om een vorm van onderzoek met vrij diverse bronnen van gegevens: metingen (vb. van pauzes tussen vragen en antwoorden) en al die gegevens worden door de onderzoeker samengebracht met als doel te zoeken waar een probleem zit

er is geen vaste toegangscode om te weten hoe je dit soort onderzoek uitvoert; wat je gaat doen is vaak relatief flexibel

als je dit samen neemt, dan denk je: 'ellende geblazen', want dit soort onderzoek betekent dat er geen vaste lijn is, dat je vaak tijdens je onderzoek zelf nog aanpassingen moet maken en dat velen je onderzoek subjectief zullen vinden

subjectiviteit (want niet exact repliceerbaar) de positieve kant van het verhaal: je krijgt wel een beeld van ingewikkelde

dingen zoals een gesprek kwaliteitscriteria: geloofwaardigheid het moet geloofwaardig zijn, dwz: het moet ook mogelijk zijn om ook

tegenstanders te overtuigen, bv. door het feit dat je vanuit verschillende hoeken tot hetzelfde eindresultaat komt, of door het feit dat de adviezen die je op grond hiervan geeft, succesvol zijn…

is dit soort onderzoek dan succesvol gebleken? Ja!o dit betekent niet dat tellen uit den boze is, maar dat je het probleem

ook inhoudelijk moet bekijken voordat je je onderzoek start adequaatheid : als je een gesprek onderzoekt op basis van de temperatuur

van de kamer, zal dat wellicht niet lukken. Als je dat doet op basis van het geluidsniveau = ook een invalshoek die je niet gaat nemen. Je vertrekt van het probleem, vb. een helpdeskmedewerker waar voortdurend klachten over komen, en je onderzoekt wat er misgaat

23

o er is een heel breed gebied tussen niet meer weten wat je zei aan de telefoon of wie er belde en een perfect gesprek gevoerd hebben (als de andere kant van de lijn alles begrepen heeft etc.)

BEDREIGINGEN o the observer's paradox : als je als onderzoeker binnenstapt, verandert

de omgeving al meteen, personen gaan zich anders gedragen etc. dit gebeurt zeker als je gaat deelnemen aan de gesprekken

o interpretatiefouten : je registreert zo'n gesprek, je beluistert dat en je denkt: ik snap er niets van, er gebeurt iets vreemd en ik zou niet weten wat

gevaar: je zegt 'het zal dit wel zijn' (vb. vermoeidheid, gebrek aan deskundigheid…)

vooringenomenheid, luiheid, betrokkenheid o respondentfouten : het gebeurt dat ze niet willen meewerken…:

desinteresse, weerstand, boycot Je moet natuurlijk ook opletten wat je vraagt. Vb. de politieke strekking van

een buitenlander op straat in Iran vragen En je kunt ook experiment xxx behaviour krijgen: ze hadden geen idee met

betrekking tot de politieke toestand, maar hebben nu ter plekke een idee verzonnen => dit is dan natuurlijk wel inconsistent, omdat het uit brokstukken van meningen samenhangt

MAAR: er zijn veiligheidsvoorzieningen voldoende lang verblijf verschillende databronnen peer-overleg (vooral omdat elke onderzoeker blinde vlekken gaat

ontwikkelen): vragen aan een ander wat die ervan vindt confrontatie met betrokkenen (herkenbaarheid): je eerste interpretatie leg je

voor aan degenen die waargenomen zijn; zo ontdek je of je benadering correct is

tegenvoorbeelden? als je iets vindt dat niet klopt, moet je dit ook bekijken zorgvuldig 'loggen' => kwalitatief onderzoeker heeft heel veel notitieboekjes

o dit helpt om achteraf te interpretereno ook als je bv. met video werkt blijft het handig om systematisch op te

schrijvenDrie grote vormen van studies vallen hieronder: invloedrijkste

onderzoeksbenaderingencase study: onderzoeksthema bestuderen a.d.h.v. concreet geval

inzicht grondig, compleet samenhang voorbeeldkarakter: je ziet nu eenmaal hoe het looptJe gaat 1 concreet geval na; vb. je gaat na hoe x binnen politieke partijen gebeurt. Zo probeer je wel een greep te krijgen op alles wat een rol speeltDus: tot in detail observeren hoe zoiets gebeurt in 1 bepaald geval! klinkt heel gevaarlijk om van 1 case naar een theorie te gaan, maar als je merkt dat een bepaald patroon de hele tijd terugkeert of als de samenhang van bepaalde patronen steeds terugkeert of in een volkomen andere casestudy terugkeert dan kun je toch met een relatief gerust gemoed zeggen dat het wellichtOmdat het zo grondig is en op zo'n basaal niveau ligt (lijkt geautomatiseerd) betekent het vaak dit het overdraagbaar is; als je het op erg uiteenlopende plekken kunt bevestigen,

24

is het toch wat waardetnografische studies: sociale structuur en cultuur van de groep

participerende observatie logboekDeze hoeven niet beperkt te zijn tot 1 geval; je beperkt je tot bepaalde aspecten of onderdelenVb.: hoe verlopen interviews, hoe verlopen zakelijke interviews, hoe verlopen verkoopsgesprekken, hoe gaat het eraan toe als je solliciteert…Je kijkt niet meer naar dat grote geheel, maar probeert je op een relatief beheersbaar niveau bezig te houden

gefundeerde theoriebenadering

theorie opbouw analyse data à patronen à aanvullen à bijstellen (etc.

etc.) à tot er geen veranderingen meer nodig zijn (methode van constante vergelijking)

dit is een deductieve aanpak: je maakt een theorie en je gaat na of die klopt in de praktijk, confronteren met de werkelijkheid inductief

Andere kwalitatieve onderzoeksbenaderingen hermeneutiek:

o verregaande interpretatie (vgl ‘close reading’ biografisch onderzoek:

o bv. onderzoek van levensgeschiedenis van zieken om inzicht in ziekte te krijgen

fenomenologisch onderzoek:o hoe percipieert of ervaart men bepaald fenomeen ?o of te weten proberen te komen hoe iemand een bepaald verschijnsel

interpreteert symbolisch interactionisme:

o hoe “construeert” men bepaalde verschijnselen (tot een geheel: “opstand”, organisatie ...)

... feministisch onderzoek (kwalitatief, soms uit verzet tegen blinde

kwantificering)o staat apart, omdat ze wel eens benaderd worden vanuit het standpunt

dat er in traditioneel onderzoek vooronderstellingen zitten en dat die eruit gehaald moeten worden

o vb. mannentaal en vrouwentaal: heeft het niet te maken met een bepaalde positie (vb. minder macht in een vergadering omdat hun carrière korter is etc omdat ze kinderen hebben etc…) => misschien is de vraagstelling fout en moet je het anders bekijken

o voorafgaande assumptie deze zijn vaak te combineren met de drie hoofdtypes!KERNAANPAK starten van onderzoeksvraag: wat wil je te weten komen? daarna soepel methode en aanpak kiezen

o vb.: verslaggevingspraktijk in kleien bedrijven wie beslist? etnografisch informatiestroompatronen: beschrijvend, enquêtes conflicten en conflictoplossingen: case study (1 of meer)

o vb.: gezagsopbouw in onderhandeling: etnografisch, case study ook combinative van kwantitatief en kwalitatief is mogelijk

o vb.: identiteitsopbouw in zakelijke speeches

25

o case study: identificatie van markers voor identiteitsopbouw (conversatieanalyse)

etnografisch onderzoek over aantal zakelijke presentaties enquête over perceptie van presentaties telling van bepaalde markers (vrijwel volledig kwantitatief)

vb.: pronomina dit gebeurde op grond van de case study het is slechts een van de vele elementen die je kunt

registreren er valt wel te tellen, te vergelijken en te concluderen

effect: triangulering => sterke uitkomsteno dwz: je hebt uitkomsten vanuit meerdere hoeken die een gelijkaardige

vraag beantwoordeno je conclusies worden hoe dan ook sterker als je die vanuit verschillende

hoeken kunt bekrachtigen !!!!!!!!!!!!!!!!!!!!!!!!!!!!stapsgewijs!!!!!!!!!!!!!!!!!!!!!!!!!!!!

o bij elke stap moet je je doel in het oog houden, maar het valt niet te vermijden dat het niet rechtlijnig is en dat er veel verschillende stapjes zijn

Onderzoekstypeso beschrijvend onderzoek

proberen de situatie te beschrijven zoals ze is registreren en kijken wat eruit komt = in kaart brengen van situaties, percepties, relaties, ervaringen

… met klemtoon op kwalitatieve aspecten, niet op frequenties e.d.

puur puur beschrijven => momenteel denkt men dat dit misschien niet meer hoeft; dat beschrijvend onderzoek toch gegeneraliseerd kan worden

(in uiterste vorm is conversatieanalyse niet generaliseerbaar)o exploratief onderzoek

bijvoorbeeld om geschikt model* te ontwikkelen voor een fenomeen (code switching bijvoorbeeld)

je hebt veelal nog geen scherpe theorie of verwachtingen wel wat vagere verwachtingen en indicaties exploratief onderzoek leidt tot scherpe hypothese

*model (theorie): kan ook beperkt zijn tot begrippen of hypothese

door een gesprek bij wijze van spreke in hele fijne schijfjes te snijden en te zien hoe bijvoorbeeld iemand het woord neemt in een gesprek of hoe humor erbij gemaakt wordt

o toetsend onderzoek: nagaan of

theorie die je hebt ontwikkeld, klopt verband tussen kenmerken echt bevestigd wordt

o deze zijn alle drie ook kwantitatief mogelijk Methodes kunnen dan variëren:

o vb.: steekproeven niet-gericht, aselect: ieder geval evenveel kans om in steekproef

te zitten in kwalitatief onderzoek evenwel vaak: gericht (beredeneerd)

vb: theoriegerichte selectie

26

o gebruik van vreemde taal in Vlaanderen (op basis van theorie een indeling; concentratie op zakelijke omgang, op onderwijs, op overheid, niet in families)

o leesgewoontes van zakelijke informatie (kranten, gespecialiseerde pers, en niet historische informatie…)

Selecto bv. gestratificeerd: uit verschillende sociale klassen (werkelijkheid

representerend)o bv. gestratificeerd uit leeftijdsgroepen o bv. via snowball-sampling (vindplaatsgericht)

Hoe groot ?o afhankelijk van je doel (voldoende diversiteit, voldoende dekking van

aspecten)o Afhankelijk van je werkwijze (“statistiek”)

Overzicht: illustratieo voorbeeld: aidsonderzoek (preventiebrochures)o fear appeals: zijn heel krachtig (angstoproepen)

daarin zitten ook voorbeeldgeschiedenissen dit onderzoek gaat over de perceptie van wat je zelf bij kunt

dragen en op de acceptatie van de boodschap frequente talige benaderingen

o identiteitsopbouwo beleefdheid/politeness

vb. mag ik een flesje water? dit schendt in alle opzichten mijn zelfgevoel, mijn face/zelfgevoel

er zijn middelen om dat op te vullen; die vallen onder de technische term politeness

vb.: er heel enthousiast over doeno macht/dominantieopbouw

Toegepaste conversatieanalyseo origine

Harvey Sacks, Emanuel Schegloff, Gail Jefferson ("talk in interaction")

zuiver descriptiefo toegepaste conversatieanalseo studie van institutionele interactie (interviews, medische gesprekken,

rechtbankinteractie…) met gebruik van inzichten uit "zuivere" CA (= bestuderen van interactie zonder enig voorafgaand kader: zoeken naar een logica binnen het gesprek zelf)

medisch gesprek: een heleboel dingen zijn not done ('het was leuk om langs te komen' of 'wanneer zie ik je nog eens')

o ontwikkeling hulpmiddelen en adviezen voor verbetering van interactie soms kun je hier heel ver in gaan vb.: eerst analyse doen van hoe coachgesprekken gewoonlijk

verlopen en dan op basis daarvan een automaat opbouwen die het ook goed doet

Talk in institutional settingso achtergrond

uitgangsputn van Sachs C.S.: gewone interactive is basis, institutionele daarvan aft e leiden

onderzoek van 'restricties' in institutionele interactie CA bestudeert activiteiten als interactionele producten

27

dynamische visie op contact MAAR: context altijd lokaal geconstrueerd

o wat komt er telkens terug: drie kernthema's doelgerichtheid in institutioneel geheel

er zit een lijn in vaak speciale en bijzondere beperkingen op wat mogelijk is

hoe verloopt de interactie op plek x en hoe is die verstrengeld met taal en met het gebruik van interactie op een heel breed gebied

sommige stappen zullen enkel binnen die institutie werken en elders niet: kan verbonden zijn met inferenties die alleen in deze institutie 'werken'

vb.: vragen van 'agents' en 'clients'o in veel instituties: preallocatie van beurten

A: mag vragen stellen - eventueel uitvoerig/ onderbrekend…

o asymmetrie: dominantie of deel van institutie er kan een dominantie zijn uit de feiten, maar

dit betekent daarom nog niet dat die persoon die dominantie in het gesprek al meteen zal hebben - meestal zal die dat heel geleidelijk construeren

vb.: waar zal ik u mee helpen? die zijn altijd aanwezig, maar brengen in die interactie

zichzelf tot stand CA-bevindingen gebruiken

o GEVAAR: voorgekookt idee over wat belangrijk of relevant iso etnomethodologische onverschilligheid gewenst: sta open voor wat

afwijkt van de verwachtingen kijken als een nietsvermoedende waarnemer, je moet openstaan

voor alleso bv.: gestandaardiserde interviews

onverwacht toch lokale rationaliteit

o combinatie van registratie en opleiding is denkbaar vb.: opleiding dieetconsultants

Toegepaste conversatieanalyse heel courant: "workplace studies"

o thema's: stille coördinatie tussen collega's vaak met meenemen van non-verbaal gedrag en context in

studieo toepassingsgebieden

mens-machine-interactie computerondersteunde samenwerking

o origine: social constructionisme, voorbij positivisme, in richting vano linguïstisch gemedieerde epistemologie: kennis binnen bepaald

ehistorische en culturele kaders => psychologisch inzicht (niet uit inwendige) maar

interactioneel, conversationeel en relationeel opgebouwd !!! gevolg: er moet een zekere terughoudendheid zijn om een pakket 'tools'

voor te stellen Toegepaste discourse analyse

o hoe tewerk gaan? (iets als 'fietsen'?) geen vaste, strakke methodes

28

wel uit te leggen vb.: de analyse van ervaringen van trauma uit interviews

met politieagenteno Vooraf:

transcriptie van 12 interviews los gestructureerd rond open vragen geregistreerd en getranscribeerd in gewone spelling

o Onderzoeksvraag: hoe ‘doen’ politieofficieren emoties ?1. preliminaire codering

- selectie van materiaal (weghalen van stukken die niets met emotie te maken hadden)

hoe ?- zoeken naar woorden (automatisch)- door analist zelf (met open geest)

2. codering in categorieën- categorieën uit tekst laten “groeien” - starten 1 categorie, telkens beslissen of nieuw voorbeeld bij “oude”

categorieën kan of begin is van nieuwe3. analysefase 1: systematische patronen zoeken (door gebruik te maken van je

achtergrondkennis)fase 2: functionele effecten en consequenties zoeken(te gebruiken concepten: constructie, variabiliteit, functie)-- levert soms nieuwe opdelingen op: bv. opsplitsing van functies, of

tegenstellingen-- kan aanwijzingen voor “constructie” geven (bv. emotie als bedreiging voor

professionele competentie) bepalend is:

o talige middelen zinnig beschouwen in termen van wat ze doen voor de te bereiken doelen

o coherente analytische structuur opleveren Opmerking: dit is niet noodzakelijk enig mogelijke aanpakTypevoorbeelden: CA en DA1. CA: helpdeskgesprekkenaantal conversationele middelenuitgangssituatie:

29

wat gebeurde er heel vaak: dat aanmelden gebeurde niet goed => er waren erg veel gevallen waarbij er een heel ander probleem was dan geregistreerd stond

kunnen we dat niet verbeteren door de agent te laten zeggen wat hij opschrijft

o vb.: ik registreer dus dat…o voordeel:

Transcriptieregels

samenwerking opbouw van heldere en adequate probleemdefinitie hoe ? interactionele middelen werking

o taligo op diverse niveaus

Helpdeskgesprekken: er zit een soort STRUCTUUR in basisassumptie => gesprekken zijn gestructureerd (identificatie, groet,

verhaal) => een of andere vorm van melding dat het gesprek begint. Vervolgens wordt de problematiek aangekondigd

30

die structuur is niet afgesproken, maar komt er vanzelf in op bepaalde plaats overgang: rollen veranderen

o weten jullie daar wat meer van => jullie beurt agent begint vragen te stellen => diagnose voor probleem

31

A neemt de zaak plots weer in eigen handen, enkel en alleen door klemtoon: ja-neevraag met klemtoon: stond ie al doorgeschakeld, of niet?

=ja= => suggereren 'opschieten, kom ter zake': agent stuurt naar een bepaald doel toe

32

77: agent grijpt opnieuw in, gaat alweer het topic bepalen 84: aarzeling - dat is een goeie vraag in de loop van het gesprek gaan de twee deelnemers hun eigen rol en die van

de ander in het licht zetteno door vragen te stellen plaats de agent zich in de rol van vragende

persoon integratie van actie, nl. starten van programma (klachtenformulier) a. incomplete mededeling

o = eerste middel om ervoor te zorgen dat je een antwoord krijgt: zin niet afmaken

o zeer krachtig middel om te zorgen dat de ander aanvulto agent wacht heel lang

o met die onvolledige melding geeft de agent het signaal dat hij nu informatie wil die hij kan invullen op zijn scherm

o dus: vragen met behulp van incomplete mededeling

33

o en adaptatie aan invuleisen (door opbeller)o degene die antwoordt bouwt ahw interactie op door te antwoorden als

om in te vullen op een formulier (toont welwillendheid en gemeenschappelijke opbouw) => vb. spellen naam

interactie tussen spreken en invulleno hele reeks beurteno invullen en eisen ervan bepalen het gesprek

wijze van vragen stellen:o en-aanloop = typische stappen die aangeven dat er een veld ingevuld

moet wordeno incomplete mededeling

34

b. presentatie van informatie op manier die makkelijk is voor verwerking

c. hardop werken

d. schriftelijke weergave voorlezen: typische aanloop

35

d. schriftelijke weergave voorlezen: acceptatie door opbeller

d. schriftelijke weergave voorlezen: acceptatie door opbeller (mét aarzeling)

36

bevestigt de hypothese dat de opbouw van zo'n klachtenformulier geen zaak is van 1 van beide kanten maar van allebei in een soort van samenwerking

VIII Achtste les [21/11] kwalitatief = meer exploratief, zoekend kwantitatief = meer controlerend1 Toegepaste discourse analyse1.1 Preliminaire codering Hoe?

o zoeken naar woorden (automatisch)o door analist zelf (met open geest: een keertje 's ochtends, een keertje

's avonds…)

1.2 Codering in categorieën Je ziet bepaalde categorieën en bouwt ze op naarmate je door de tekst ploegt.

Als je iets nieuws ziet dat nog niet in een categorie thuishoort, maak je een nieuwe categorie aan…

1.3 Analyse Fase 1: systematische patronen zoeken

o vb.: 'het is normaal, maar'o dit is vooral wat als dit dan een typische uitdrukking is bv. om

onbehagen te uiten Fase 2

o is het door woorden die uit een bepaald gebied komeno oorlogs-, of gevechtsmetaforeno vb.: ik moest me verzetten/het was een harde strijd/…o op die manier bouw je een interpretatiegeheel op waarbij je de analyse

geleidelijk zelf in elkaar stopt, het instrument waarmee je zoekt, bouw je zelf geleidelijk op

37

1.4 Typevoorbeelden CA: helpdeskgesprekken

o in het gele gebied (slide 26) zit een knoop, 'we gaan dat aanmelden' => er gaat van alles mis waar ze dingen moeten noteren

o DUS: wijziging in de procedure: niet enkel nog zeggen 'we schrijven dat op', maar ook herhalen wat je opschrijft

o basisassumptie: gesprekken zijn gestructureerd (i.c. identificatie, groet, verhaal)

o einde slide 29: pijltje => 'hier is wat aan de hand'o agent komt er hier en daar tussen met mhm met een backchannel =>

hiermee moedigt hij aan, vertel verder…o de cliënt heeft het verhaal zelf wat gestructureerd, maar loopt vast

rond regel 27o in het verhaal zie je een dubbele sturing

van de agent van de cliënt: herstelt zichzelf

o nog bijzonder: 'weten JULLIE daar wat meer van' = hier wordt heel duidelijk een beroep gedaan op de instantie, op de organisatie

op bepaalde plaats overgang: rollen veranderen agent begint vragen te stellen => rollen veranderen eu regel 42: is even niet mee 44: A denkt na (zie je door de twee keer ja) 48: hoort er helemaal niet bij, hij geeft enkel even aan dat ze op kantoor

allemaal zeggen hoe hij het moet doen 52: stelt nieuwe vraag 58-59 = formulering van C

o formuleert zijn klacht bijna in termen zoals de agent dat gaat opzoeken 76: C stelt zich in de plaats van de A, vermoedt dat hij zal vragen hoeveel

nullen 77: okay => verklaart dat hij het verhaal in begrijpelijke vorm voor zich heeft

nu 78: spelen met pauzes = heel krachtig middel om de ander iets te laten

zeggen bij deze kwamen een aantal aspecten (door de wending die ze kiezen) aan

bod waardoor de rol van A en C duidelijk is aanwijzingen:

o pauzes, backchannelling, het stellen van vragen/geven van antwoorden…

VERDER: zie vorige les

2 Cockpitgesprekken2.1 Context Context-randvoorwaarden

o gewone cockpitgesprekken functie: rollen in cockpit goed vastleggen

o PF: piloot die vliegt, heeft controle over vliegtuigo PNF: de piloot die niet vliegt

o C: kapiteino FO: eerste officier

o bemanningslid

38

Is dit nu van belang, dat die functies goed vastgelegd worden? Ja (vb. vliegtuigen die op elkaar botsten)

2.2 Pronomina persoonlijke pronomina in cockpit: te gebruiken om

o distributie van rollen en verantwoordelijkheden o sociaal in te zetten hulpmiddel om rollen in te roepen

wie wat moet doen/doet wat de functie is van die persoon

MY GO => geeft aan 'ik ben het die dat doet'o kapitein geeft aan dat hij die positie inneemt

6 FO/PNF: zegt 'check': heb gehoord wat je gezegd hebt

yoke = gasknuppelo my yoke: geef vol gaso de FO moet dit registreren (check)o dit staat zelfs in het instructieboekje

enkelvoudspronomina (rollen van kapitein en PF) meervoudspronomen (crew member en lid van deze vlucht) Gebruik van pronomina geeft weer aan: ik geef jou de instructie hem te

vertellen dat we klaar zijn

39

Belangrijk hiero I'll wait: de piloot beslist dat ze nog even wachteno geeft regel 5 weer aan jij geeft aan dat we klaar zijn om te vertrekken

o we have that: betekent: ik treed op in naam van de groep en beslis dat we alle gegevens hebben

o let's go: betekent ook weer dat hij beslist dat ze met zijn allen vertrekken

o dus: we en let's bevestigen gedeeld begrip

verantwoordelijkheid als PF (geeft mondelinge instructie – PNF voert uit): pron 1 pers. enk.

o in volgende voorbeeld: ongewoon laat (niet op verwachte moment)

Aanscherpen van rollen:o I (door kapitein): à C/PF-rol: bevestigt wat hij gaat doeno you (door FO): à rol van kapitein én eigen rol saillant gemaakt

climb power = heel veel kracht geven => op een ogenblik dat niet verwacht wordt, dus moet bevestigd worden door FO

40

Hierna: voorbeelden van wat wij moeten onderzoeken in de teksten die we gekregen hebben

o vb. over ander onderwerp praten fenomenen opdracht

o topic verandereno identiteitsopbouwo beleefdheid en taalhandelingeno dominantie en acceptatie in algemene zin

opdracht: 2p tegen 04/12

3 Pretestonderzoek3.1 Overzicht doelen van pretestonderzoek kwaliteitscriteria methoden en typering plus-minmethode

o procedureo instructive en toepassingo training met protocolo interpretative en beperkingeno varianten

3.2 Doelen bij pretestonderzoek moet je goed onder ogen houden dat je eigenlijk bezig

bent met twee dingen tegelijko je wilt problemen in een vroeg stadium te pakken krijgeno je wilt die problemen niet enkel te pakken krijgen, je wilt ook

aanwijzingen te pakken krijgen hoe je ze zou kunnen oplossen, wat er mis mee is, waarom men er zo op reageert

3.3 Kwaliteitscriteria

41

correctheid (taal-inhoud) volledigheid

o belangrijk criterium bij kwaliteitsonderzoek contact

o vb. iets om kinderen te bereiken niet bij volwassen theater leggeno wat wel goed kan: volwassenen via kinderen bereiken

selectieo brochures zijn veel te lang, al die info wordt nooit gelezeno in een pretest ga je kijken of de info die daarin staat voor een bepaalde

deelgroep, of zij die heel snel kunnen selectereno vb. door timingtest te doen => geef ze 5 min om 8 vragen te

beantwoorden…o niet erg dat ze niet alles gelezen hebben, maar ze moeten wel in staat

zijn de juiste info vlug te vinden tekstbegrip

o vb. posologie ipv hoeveelheid in bijsluiters aanvaarding

o wellicht het belangrijkste criteriumo vb. bij alcoholcampagnes

vb. gericht op jongeren: aantal popsterren uitspraken in de mond leggen

Madonna "om professioneel te zijn, raak ik nooit een druppel alcohol aan"

werkte niet, want perceptie: "Madonna = zuipschuit" waardering

o vb. campagne op sigarettenpakjes => men wilde hoge waardering, lage acceptatie

bruikbaarheido mensen moeten het gevoel hebben dat de info op een of andere manier

bruikbaar is voor hen in hun specifieke situatie

3.4 Onderzoeksmethoden grootste verschil zit hem meestal in de benadering in sommige gevallen gebruikt men vooral bureauonderzoek

o tekstanalyse (o.a. leesbaarheidsonderzoek)o expertbeoordeling (o.a. focusgesprekken)o peerbeoordeling (o.a. review)

gebruikersonderzoeko split-run (keuzeverantwoordend)o hardopleesmethode (procesbepalend)o plus-minmethode (probleemopsporend)

[zie slide] nu meer naar toetsende kant, eerder kwaliteit

o is dit product klaar?o plus-min eerder kwalitatiefo leesbaarheidsonderzoek = puur kwantitatief

vrij empirisch-analytisch richt zich vooral op product, eerder dan proces

3.5 Plus-minmethode zo eenvoudig, maar tegelijkertijd zo validerend dat het heel handig is je haalt een behoorlijke winst uit dit onderzoek

42

waar gaat het eigenlijk?o voornamelijk over waardering en acceptatie

ruim toepasbaar hoge validiteit

3.6 Procedure Je verdeelt je tekst in inhoudelijke units Je zet mensen in een evaluatierol, wat blijkt? Ze plaatsen zich in een andere

rol, waardoor ze zich een oordeel vormen (wat ze niet zouden doen als ze het gewoon lezen)

Je vraagt waarom ze op plaats x een + of een - gezegd hebben - NIET STUREN, je vraagt gewoon wat ze ervan vinden

Uitvoeringo vb. tuinkabouter/hakselaaro essentie i.c. = vier argumenten

veiligheid, fluisterstil, milieuvriendelijk 'in elkaar steken'

o enorm gepolariseerd erover = heel goed resultaat!

IX Negende les [28/11]1 Lezing ivm pretestonderzoek Vier methodes

o eyetrackingo scenario's

In veel gevallen combinative Duidelijk groeiende markt

2 Formatie: semantische spitstechnologie fragmenten van nota Leterme uitgelekt => foto's genomen in wagen,

proberen te ontcijferen woord 'semantiek' volledig op de radio

o hoor je niet bepaald elke dag semantische spitstechnologie => misschien had onze formateur toch een

pretestonderzoek moeten doen met verschillende groepen (Vlamingen/Walen) verbeterde of verhoofde bevoegdheden solidariteit, interregionale solidariteit, interpersoonlijke solidariteit regionale kortingen op de vennootschapbelasting; regio's werken fiscale

incentives uit naar de ondernemingen toe

3 Typering van pretestonderzoek via proces uitspraken doen over kwaliteit van het product

3.1 Onderzoeksvragen afhankelijk van product en waarnaar je op zoek bent Welke problemen doen zich zoal voor bij lezers van de geneesmiddelenwijzer

over stress?o deze vraag is niet concreet genoeg

contact Besteedt de lezer aandacht aan de relevante passages?Vaak te maken met selectie van info => test: x seconden, zoek antwoord op vraag

tekstbegrip Welke grote of kleine begripsproblemen doen zich voor?aanvaarding Is de lezer het eens met de standpunten?waardering Waardeert de lezer de stijl van de tekst, de vormgeving, de

43

illustraties?bruikbaarheid

Kan de lezer de informatie toepassen op zijn eigen situatie?

= hoe onderzoeksvraag verfijnen adhv de kwaliteitscriteria

3.2 Methodes pretestonderzoek Leesbaarheidsformules

o Flesch-Douma aantal zinnen van de tekst tellen aantal woorden van de tekst tellen aantal lettergrepen van 100 woorden tellen zinslengte (zl) bepalen: het aantal woorden delen door het aantal

zinnen woordlengte (wl) bepalen: het aantal lettergrepen per 100

woordeno Formule: 206,84 - (0,77 x wl) - (0,93 x zl) = scoreo Is dit betrouwbaar? Ja, maar…o Bijsluiters moesten voldoen aan een bepaalde score, hoe opgelost?

Meer leestekens en punten zetten ipv tekst verbetereno Op zich goed diagnostisch instrument, maar geen manier om te

herschrijven kortere zinnen zijn inderdaad toegankelijker, maar op

voorwaarde dat ze goed geformuleerd zijno Even toegepast op brief => resultaat: 51o http://standards-schmandards.com/exhibits/rix/index.php o 0-30: enkel hooggeschoolden in die disciplineo 90-100: Jip en Janneke

90-10080-9070-8060-7050-6030-500-30

Checklistso aan de hand van enkele criteria even alles overlopeno krachtig instrument voor finale controle als je al het werk al gedaan

hebto zo essentiële fouten vermijden: vb. dag er niet op voor affiche

Cloze testo wat? iets heel eenvoudigs: tekst aanbieden en bv. om het tiende woord

drie puntjes zetten (erdoor vervangen), je geeft het aan een doelgroep en vraagt om die puntjes in te vullen

o totaal: 29 invulplaatseno <13 (44%) = frustratieniveauo 13-17 (44-57%) = instructieniveau: met een beetje moeite en een

redelijk opleidingsniveau kan men zo'n tekst aano > 17 (58%) = onafhankelijk niveau: eigenlijk zou zo'n tekst

(huurwetgeving) voor iedereen bruikbaar moeten zijno groot voordeel: heel hoge betrouwbaarheid - beter dan Flesh-Douma

Vragenlijst Focusgesprek

o vb. om kwaliteit opleidingen te meten

44

o aantal mensen samenbrengen, hen laten praten over aantal cruciale items

o grote voordeel tov 1-op-1gesprek: mensen treden in dialoog met elkaar => genuanceerder

o nadeel: luidste klinkt meest door Signalled stopping technique

o je geeft een brochure aan iemand, je zegt: los dit probleem op, je geeft x seconden, vraagt hoeveel al opgelost, tijd loopt weer door etc.

o of je vraagt om de zoveel tijd: wat ben je nu aan het doen (niet constant zoals bij hardopdenkprotocol) => om te zien hoe ze nu echt met de tekst omgaan

o vooral interessant voor zaken waar selectie belangrijk is Hardopdenk/lees/werkmethode

o afhankelijk van wat je aan het doen bento wordt heel veel gebruikt in instructieo werkt die handleiding ook voor die doelgroep?o toegankelijkheid zo verbeteren => vb. technologie voor bejaardeno heel vaak tekstschrijvers achter glas of opgenomen

Oogbewegingsregistratieo wordt heel veel gebruikt in websiteso 'worden we gezien' (advertentieruimte Google)o warmtediagram: rechterkant: men keek nauwelijks op die websiteo men wil natuurlijk contact realiseren

Card sortingo vooral op langere teksten en websites gebruikto principe: hoe zoekfunctie in tekst verbeteren

vb. handleiding en asap probleem dat je hebt willen oplossen, of op website: asap ontdekken hoe je je compost kwijtraakt in een recyclagepark

mensen werken vanuit een aantal patronen => semantisch veldo alle belangrijke thema's op kaartjes schrijven, vragen hoe je die zou

ordenen => je laat mensen die in categorieën indelen + kopjes zoekeno zo ontdek je de kenmerken van goede kopjes die mensen blijkbaar

intuïtief verwachten Cognitive walkthrough, blurring, target plan-methode

o cognitive walkthrough => sluit aan bij scenario's: je geeft een expert een scenario, die persoon wil dat voor elkaar krijgen => doe alsof je die persoon bent

o blurring: je geeft mensen een toestel, geeft ze handleiding op scherm, maar alle info is een beetje vaag gemaakt => je kunt het niet echt lezen als je het zo ziet, als je het helder wilt zien, moet je erop klikken. Zo onderzoek je hoe goed mensen zijn in de plaatsing van gegevens

o vb. waar zit printfunctie op website => rechtsbovenaano target plan-methode => laten vallen

Split-runsessieo je gaat een tekst, vb. i.c. brochure over veilig vrijen, aanbieden aan

doelgroep, telkens twee versies naast elkaar zetten => op vijfpuntschaal

o je laat mensen evaluatief aangeven waaraan ze de voorkeur geveno de vraag die hier uit de plus-min naar voren kwam => vindt men het

nu echt belangrijk of niet dat dat erbij staat?o 'speel niet met vuur' => reactie: rare beeldspraako 'neem geen risico's' => reactie: wat suf

45

o voordeel: je kunt contrast onderzoekeno nadeel: je zet altijd twee dingen tegenover elkaar, slechts tweeo wordt heel veel gebruikt in direct marketing

Plus-en-minmethode

4 Participanten plus-minonderzoek Expertgerichte methodes

o deskundigheid teksteno deskundigheid leerprocesseno deskundigheid onderwerpo deskundigheid doelgroepkenmerken

Lezergerichte methodes

5 Korte vergelijking Onderzoekje Lentz & De Jong: deskundigheid brochure alcoholverslaving

o 30 proefpersonen uit de doelgroepo 20 tekstdeskundigeno 36 thema- & doelgroepdeskundigen

experts voorspellen 7% van de 107 problemen (bij strengere revisiecriteria: 15%)

experts genereren 322 nieuwe problemen (60 tot 70% unieke problemen per expert)

DUS: weinig voorspellende kracht irl dus beide ondervragen: deskundigen én doelgroep tekstschrijver vs doelgroep

o voorspellen slechts 5-25% van problemen correcto ze besteden meer aandacht aan correctheido ze letten minder op aanvaardbaarheid en aantrekkelijkheid

6 Varianten plus-minmethode zichtbare content units in de tekst verplichte beoordeling per content unit gerichte probleemsoorten meer nuancering in beoordeling informatieve markering schriftelijke toelichting (focus) combinatie met groepsgesprek …

7 Interpretatie pretestresultaten kwalitatieve interpretatie

o niet omdat 10 mensen iets signaleren dat dat een groter probleem is dan iets wat slechts 1 iemand signaleert

geschatte omvang van het probleem (welk deel van de doelgroep? aantal proefpersonen?)

o niet altijd eenvoudig ernst van het probleem (wat zijn de nadelige gevolgen?)

o vb. plaatsprobleem in folder te leveren revisie-inspanning

o hoeveel tijd heb je om dat te doen, hoeveel inspanning kost het, hoe groot is het risico dat je revisie misschien nieuwe problemen gaat opleveren

randvoorwaarden vanuit de organisatie (doel/inhoud/tijd/budget…?)o pretest kwam vaak op momenten dat het eigenlijk al af had moeten zijn

46

het is belangrijk dat je dit soort dingen inbouwt, vb. als tekstschrijver moet je wat periode inbouwen om pretests uit te voeren - hou wel rekening met de beperkingen van de opdrachtgever en van jezelf

8 Problemen geen informatie over de ernst van het opgesporrde probleem relevantie voor totale doelgroep onbekend (false alarm) tegenstrijdige resultaten … [zie slide]

9 Algemene opmerkingen Opm: congruentiefout: niemand opgemerkt Spelfout: in 10-15% opgevallen Plus-minonderzoek vestigt vooral de aandacht op lokale problemen, maar bv.

logische structuur etc. niet onderzocht! Probleem bij opnieuw schrijven

o je eigen problemen erbij die van je proefpersoneno meningen heel verdeeldo je interpreteert/interfereert wat er staat 'ik denk wel dat hij dat bedoelt'o vraag: hoe ga je nu beslissen? hoe kom je nu tot een aanvaardbare

oplossing van conflicten? wat is het essentiële perspectief dat je altijd moet hebben?

VERGEET bij het uitschrijven van dit soort teksten NIET HET UITEINDELIJKE DOEL

niet gebruiken als het gewoon niet klopt

10 Content unit 8 opnieuw schrijven moet vooral veel korter redundantie moet eruit

11 Content unit 11 opnieuw schrijven Dankzij uw bijdrage kunnen we de oorzaken van het probleem beter in kaart

brengen. compacter afsluiten, rechter naar het doel

12 Waardeschalen bipolaire, semantische schalen heel problematisch: helemaal niet overtuigend origineel: weinig origineel

X Tiende les [05/12]1 Effectonderzoek1.1 Schema: plaats van het effectonderzoek toetsend, kwantitatief, empirisch-analytisch

1.2 Toetsen en effect Verschil wetenschap en praktijk

o In wetenschap iets heel strikts, uitgewerkte theorie = je hebt vooraf een bepaald idee en kijkt of dat klopt

o In de praktijk: toetsen of bepaalde doelstellingen worden gehaaldo In wtsch: meten van effect van hele specifieke manipulaties

vb. lezer aanspreken met u of met je je spreekt al niet meer van doelgroep, maar van proefpersonen

47

je legt een groep proefpersonen een tekst voor, de ene helft krijgt u, de andere helft je (voor de rest exact hetzelfde, twee groepen zo gelijk mogelijk), zodat je zeker weet dat bepaalde oordelen volledig te maken hebben met die manipulatie u/je

o Praktijk: meten van effect van bijvoorbeeld mediauitingen en campagnes

je gaat op zoek naar het generieke effect van een tekst als geheel

o Wetenschap is gericht op generaliseren, op theorievorming, iets specifieks weten, niet ivm onderzochte tekst, maar ivm werkt dit voor alle voorlichtingsfolder

Postbus 51 = centrale voorlichtingsdienst in NLo Praktijk: geen of zeer beperkte pretenties (wel: 'leren')

hier wil je wel weten of die ene brochure het juiste effect sorteert dat leren is veel minder specifiek

je weet nooit precies waar het gebrek aan effect aan te wijten valt, maar nadeel bij wetenschap: je weet bv. enkel iets over de aanspreking, niet over het effect dat de brochure zal hebben

1.3 Experiment versus Split-runExperiment Split-run

wat onderzoek je? keuze voor 1 of 2 (onafhankelijke) variabelen, die ga je heel precies bestuderen

keuze voor 2 of 3 tekstversies (met tal van 'manipulaties') vb. andere soort

argumentatiewaarin ben je geïnteresseerd?

wat zijn de effecten op de afhankelijke variabele(n)?

wat werkt het beste? haal ik mijn communicatie- en organisatiedoelstellingen?

omstandigheden volledige controle: sterker nog, je wilt zelfs dat mensen onder dezelfde omstandigheden de vragenlijsten zitten in te vullen (vb. zelfs het weer doet er toe…)

natuurlijke omstandigheden; zo natuurlijk mogelijk, met alle variatie, die wil je liefst allemaal in je steekproef hebben

doel toetsen theorie optimaliseren, ervoor zorgen dat je een betere tekst krijgt. Is een pretestonderzoek gericht op de optimale constructie van een tekst

1.4 Beleefdheid in afwijzingsbrieven - Brown & Levinson in de praktijk Zie artikel Context of discovery context of justification Laat ze allebei zien; doel: laten zien welke beslissingen je allemaal aan het

nemen bent

vb. brief belastingsdienst: correcties belastingaangifte => zijn eigenlijk ook correcties

o ze hoeven niet zoveel rekening te houden met klanten = attitude Bo B: rustig x pagina's, helemaal structuur rechterlijk vonnis

48

o In NL: hun belang (monopolist) => hele zware verantwoordelijkheid: ik moet dus heel zorgvuldig omgaan met die burgers, want ze kunnen nergens anders heen

o Sturen 1,2 miljoen brieven per jaar de deur uit Wat je dus niet wilt, is dat die afwijzingsbrieven nog

vervolgcorrespondentie opleveren Dus: praktijk: heel belangrijk om goed te antwoorden Volgens B&L: is heel belangrijk om gezicht gesprekspartners overeind te

houdeno empirisch toetsen ivm beleefdheid

1.5 Effectief afwijzen - met oog voor de relatie (als het voor de belastingen zou zijn)

1.6 Doel van het onderzoek Praktijk: hoe doe je het nou, netjes, zodat mensen zich niet geschoffeerd

voelen en dat ze het accepteren, dat ze zich erbij neerleggeno Hoe meten? Zo min mogelijk reacties (relationeel: klachten of brieven)

Experimenteel onderzoek naar positieve beleefdheidsverschijnselen in zakelijke correspondentie

Experimenten met echte teksten (ecologische validiteit) Meten van de effecten van beleefdheidsstrategieën): (tekst)waardering en

'compliance' van lezerso compliance = blijven meewerken

Belangrijk voor onderzoek: onderzoek doen met echte teksten, vb. voor verzekeringen: echte claimafwijzingen

o en kijken wat je eraan kunt manipuleren

1.7 Positieve en negatieve beleefdheid Negatieve beleefdheid: richt zich op de vrijheid van handelen oftewel de

autonomie van S-H (respect voor de ander)o Kunt u mij alsjeblieft het zout aangeven?o Je gebruikt dus niet de kortste, meest directe en eenduidige manier

(bevel)o Waarom niet? Omdat ik daarmee een aanval doe op het gezicht van die

persoono Waarom stel je het als een vraag of indirect

Mensen hebben in principe een aantal basiswaarden die ze in stand willen houden

I.c.: we willen autonoom zijn, kunnen doen en laten wat we willen Dit verklaart waarom je niet kunt zeggen 'doe die deur

open' Bij een vraag: 'Wil je die deur even open zetten' kun je in

principe nog zeggen 'Nee' Positieve beleefdheid: richt zich op het bestendigen van de relatie tussen S-H

(solidariteit)o Dank je wel voor het interessante artikel over de aantrekkelijkheid van

panda'so Een andere basiswaarde: mensen willen deel uitmaken van een groep,

willen relaties hebben met andereno Tonen dat je hem snapt, dat je zijn behoeftes en belangen kunt

inschatten = is iets heel fundamenteels en moet je laten zien Tussendoor: panda's zijn schattig, waarom

49

o panda: heel groot hoofd + door zwarte rand rondo gen = lijken op baby's

Negatieve beleefdheid: al heel veel onderzoek naar gedaan Positieve beleefdheid: daar wordt heel weinig aan gedaan, terwijl er in heel

veel literatuur wel veel aandacht aan wordt besteed Nu is er iets lastigs met beleefdheid: solidariteit aantonen en respect

o probleem: er zijn grenzeno vb. Janssens schreef artikel en wil dat Leijten er nog even naar kijkt

meest directe: kijk dit artikel nog even na je stelt het helemaal uit om die vraag te geven op de duur lijkt het alsof je het je niet meer aantrekt wat die

andere persoon voelt => effect wordt tegendeelo vraag is nu: werkt dat nu echt zo? Kun je té klantgericht zijn in een

brief, met effect dat mensen gaan twijfelen aan de oprechtheid vraag: kun je effecten van beleefdheid laten zien, onderzoeken of het ook

effectief werkt

1.8 Waarom positieve beleefdheid? algemeen beschouwd als minder belangrijk onderbelicht in onderzoek (minder over bekend) erg belangrijk in tekstadvies kan enorm verschillen

o vb. bij vrienden hoef je die solidariteit niet zo uit te werkeno op het moment dat die solidariteit vanzelfssprekend is, dan hoeft die

niet altijd geëxpliciteerd te worden vb. twee Engelsen die tegen elkaar zouden zeggen: "wat spreek

jij goed Engels"

1.9 Onderzoek gezichtsbedreigende handeling: claimafwijzing van

verzekeringsmaatschappijen twee experimenten

o gericht op de effecten van het stapelen van strategieën brieven met 0-1-2-3 strategieën

0 = bot afwijzen begonnen met een corpus aanleggen en bekijken, wat gebeurt hierin? 1 van de beleefdheidsstrategieën = geef cadeautjes gebeurt niet zo vaak

bij claimafwijzingen het moet realistisch zijn, maar mag ook niet te echt zijn, bv. niet met beeld

van een specifieke verzekeringsmaatschappij (zou storende variabele zijn, want anders beoordelen mensen vaak de verzekeringsmaatschappij ipv de brief)

je weet heel goed wat je weet maar nooit zo goed wat je niet weet uiteindelijk onderzoek

1.10 Experiment 1 4 condities

o 0 strategieën: bold on record waarom hiervoor gekozen als dit irl nooit gebeurt? je moet een

referentiepunt hebben om te meteno 1 strategie: geef redenen

waarom deze? omdat dit in elke brief voorkwamo 2 strategieën: 1 + geef complimenteno 3 strategieën: 2 + speel in op H's interesses

50

H = hoorder, lezer wat betekende dit nu voor de teksten? zie tekstvoorbeelden het is een verschrikkelijk gedoe om een tekst goed te operationaliseren, om

dit zuiver te doen probleem: wil je dit onderzoeken, dan wil je wel uitsluiten dat als het ergens

anders over gaat, dat ze dan iets anders horen => puntjeso dus twee verschillende brieven, verschillende goedereno zelf verzekeringsmaatschappijen verzonnen, twee verschillende

afzenders etc. enorm veel werk: als je het niet goed uitvoert, heb je helemaal niets, want de

betekenis van het experiment hangt helemaal af van de structuur, van het design ervan

design, proefpersoneno iedereen beoordeelde 1 teksto gevolg: alle oordelen/waarnemingen zijn onafhankelijko = belangrijke reden waarom ze hiervoor kozen

afhankelijke variabeleno scores op 7-punts Likertschaleno 8 constructen/afhankelijke variabelen

Imago zender Afstand tussen zender en ontvanger Attitude van zender tgo ontvanger Empathie zender Rationaliteit zender Overeenstemming over de FTA (= afwijzing) Toon Structuur

voorbeelden

1.11 Resultaten betrouwbaarheid

o Cronbach's alfao correlatiemaat maar gecorrigeerd door kans

zevenpuntsschaaltjes => er is sowieso al een kans dat dat overeenkomt

o .75 < alfa < .90o betekent dat 'weegschalen' min of meer hetzelfde aangeveno voordeel daarvan: als ze dat doen, kun je een gemiddelde ervan

nemen, zodat je dichter bij de ware score komto dit gemiddelde is dan een betere, zuiverdere scoren dan de aparte

resultaten experimento verschil horloge/fiets bleek er niet te zijno verschil twee zelfverzonnen maatschappijen bleek er ook niet te zijno gevolg: die kunnen allemaal opgeteld wordeno besluit: 1 strategie = stijgt, 2 of 3: daalt soms zelfs

conclusie: het heeft zin om 1 strategie toe te voegen, maar nog 1 toevoegen heeft geen verder effect

statistiek: hoe toevallig is dit resultaat nu?o significantie: hoe groot is de kans dat je met een andere steekproef tot

hetzelfde effect zou komen eenwegsvariantieanalyse

51

o kijken of het verschil tussen de gemiddeldes significant van elkaar verschillen

o lastig: je hebt hier een variabele die 4 varianties heeft posthocanalyse wat zie je dan?

o je merkt een significant verschil van beleefdheid op alle afhankelijke variabelen

dus: beleefdheid doet iets maar: waar dan?

o de stijging die je zag = significant effect BOR verschilt van 1 BOR verschilt van 2 en 3 maar geen verschil tussen 1, 2 en 3

OPM: structuur heel anderso effect op BOR => 1 en 2, maar niet op 3

nieuwe vrageno is dit het chocomeleffect?

dwz: het eerste glas is heel lekker, het tweede direct erna heeft lang niet de kwaliteit van het eerste

dus: slechts 1 strategie nodigo is het: 'geef redenen'?

de andere strategieën doen er niet toe ofte: moet je er gewoon 1 beleefdheidsstrategie inzetten of moet je er

redenen inzetten? probleem: opzet

o elke tekst bevatte redenen, net zoals dat in de praktijk is

1.12 Experiment 2 Condities

o 0: bold on recordo 1: geef compliment of speel in op H's interesseo 2: 1 + 'geef redenen'o 2: geef compliment + speel in op H's interesse

Dus: aantal dingen meer onder controle gehoudeno wel iets minder realistisch, want 1 komt in de praktijk nauwelijks voor

MAAR je weet nu wel precies de effecten te duiden Design => zie 1 Resultaten

o piek bij 2 strategieën waarbij 1 van de 2 geef redenen iso significante effecten op alle afhankelijke variabeleno significant effect BOR => 2 (+GR)o significant effect twee strategieën + GR => - GRo geen effecten BOR => 1 strategie (-GR)o geen effect BOR => 2 strategieën (-GR)

1.13 Conclusie GR is essentieel in afwijzingen

o vraag: moeten dat nu goede redenen zijn of niet? => vervolgonderzoek mogelijk

vb. drogreden: we keren niet uit omdat we in zo'n geval niet uitkeren

52

beleefdheidsstrategieën inzetten zonder 'redenen' is zinloos en misschien zelfs beschadigend voor imago, compliance en waargenomen afstand tussen S-H

effecten van beleefdheid: anders dan GR zijn verwaarloosbaardiscussie niet alle beleefdheidsstrategieën zijn gelijk geef redenen heeft inhoudelijke relatie tot de afwijzing (FTA), andere

strategieën zijn alleen op het gezicht georiënteerd taalgebruikers willen primair als rationele individuen worden benaderd,

afwijzingen hebben daarom argumentatie nodigvoorbehouden (wetenschap) - zijn deze conclusies valide voor: alleen afwijzingen of ook voor andere gezichtbedreigende handelingen? NL of ook voor andere taalgemeenschappen of culturen? Geschreven én mondelinge communicatie? Formele én informele communicatie?=> beperkt de generaliseringsmogelijkhedenpraktische tips niet (degelijk?) argumenteren in afwijzingen is onverstandig niet (degelijk?) argumenteren in afwijzingen, maar wel ander 'face work'

uitvoeren is dom

1.14 Opdracht analyseer de onderzoeksopzet in het artikel van De Jong & Rijnks (2006) over

iteratieve lezersfeedback gebruik daarbij als leidraad het diagram van Baarda & De Goede (2006) … => [zie slide]

XI Elfde les [12/12]: effectonderzoek II1 Herhaling vorige week plaats van effectonderzoek

o toetsend, kwantitatief, empirisch-analytischo kwantitatief: uiteindelijk is het allemaal rekenwerko het idee dat er zoiets is als een werkelijkheid waarover je objectieve

dingen kunt zeggen wetenschap praktijk vb. vandaag: Bobcampagne

o Op grond van het effect van zo'n specifieke campagne kun je heel weinig voorspellen over het effect van andere campagnes - maar dat is ook niet het doel

Resultaten experiment 1 (a)o manipulatie negatieve beleefdheidsstrategieën

2 Hand-out tabellen SPSS Output tabel linksboven

o descriptive = beschrijving van wat daaruit komto wat je daar ziet = wat in de grafiek staat

opbouw = structuur standaarddeviatie

o Mean = gemiddelde = totaal van alles : 149o Lower Bound en Upper Bound = je weet voor 95% zeker dat het ware

gemiddelde tussen die twee groepen valt

53

o Maat voor de spreiding rond het gemiddelde = standaarddeviatie. Hoe groter die is, hoe moeilijker het is om verschillen te vinden

o Als die heel groot is, stelt dat gemiddelde niet zoveel voor anova = variantieanalyse

o die toetst het verschil tussen de gemiddeldes: is het verschil ertussen groot genoeg om niet door toeval veroorzaakt te worden?

o je weet dus hoe groot de kans is dat je in een andere steekproef hetzelfde resultaat zou vinden

eigenlijk wordt gekeken of de variantie tussen groepen significant is

significantie = de kans dat je in een andere steekproef tot een ander resultaat zou komen = 0,000

hogere F-waarde = grotere significantie post hoc test

o daar zie je, als je naar de eerste tabel kijkt, een opsplitsing, alles wordt tov elkaar getoetst

o afhankelijke variabele = opbouw daar zie je een opsplitsing opbouw: bald en drie strat = zeer significant imago: bald en 1/2/3 = significant

o in deze tabel zie je voor alle punten tov elkaar of het verschil betekenisvol is of niet

hoe dit rapporteren?o NIET deze tabellen => enorm geodeo wat je rapporteert = je scores per afhankelijke en onafhankelijke

variabelen = gemiddelden en standaardafwijkingen (tussen haakjes) waarom? een gemiddelde zegt op zich niets

o 'een post hoc Fe (??)analyse gaf aan dat …' (F = ; p = 0.05)

3 Back to the slides wat wil je meten? voorwaardelijke 'effecten'

o = meest primaire: hebben ze het überhaupt gezien en is het hen opgevallen?

cognities = alles wat in je hoofd gebeurto heb je iets begrepen?o heb je iets onthouden?o heeft het iets bij je losgemaakt?o overtuigingen: ben je bereid iets van die zender aan te nemen, ben je

bereid te doen wat de campagne van je vraagt uiteindelijk gaat het je natuurlijk om gedrag

o je wil niet enkel dat ze overtuigd zijn dat het goed is om veilig te vrijen, maar ook dat ze het doen

effect tov wat? i.c. heel duidelijk: tov de nulversie

o in een campagne moeilijko is het een gevolg van die overtuiging of was die er al?o omdat je geen experiment doet en dus niets onder controle hebt weet

je niet hoe het komto daarom doe je dan een nulmeting

Uri Gellero noemde zichzelf 'paragnost'

54

o bel op als er nu iets in je huiskamer gebeurt gebeurt ook als niemand in de camera kijkt

o vandaar: belang van de nulmetingovertuigen drie klassieke overtuigingsmiddelen

o ethos = vertrouwen wekken als sprekero pathos = bij je publiek het juist gevoel teweeg kunnen brengeno logos

zender = hele belangrijke factor in overtuigen drie factoren spelen een rol:

o deskundigheid vb. wasreclame, mensen met labojassen, moeder met 34

kindereno objectiviteit

getoetst door onafhankelijk onderzoeko aantrekkelijkheid

zelfs zo relevant dat in de jaren zeventig => onderzoek van Wiegman (??) en van room (??)

o twee Nederlandse politici dezelfde toespraak laten houden voor een gehoor van aanhangers en voor het gehoor van de andere

o 1'tje van de VVD = eigen aanhang en voor aanhangers van de PVDAo ook omgekeerdo toespraken werden opgenomen en die beoordeleno zelfde toespraak door PVDA veel overtuigender als door eigen

partijman werd gehoudeno enige variabele = bron => significant verschil

lastige van deze champagne vanuit de wetenschappelijk bril = wemelt van storende variabelen

o niet erg voor campagnemaker, die is alleen maar geïnteresseerd in effect

o maar onderzoekstechnisch is dat lastig leereffect is vrijwel altijd beperkt

o in bobcampagne zul je niets leren ivm veilig vrijen … jaarevaluatie Postbus 51

o herkenningo herinnering

overall waardering = aan te raden!!!! waardering op aspecten - indicatoren staan erachter

o vormgevingo inhoudo toono persoonlijke relevantie

methode Postbus 51o trackingo gedurende de looptijd tussenmetingen om effect te meteno soms ook gebruikt om campagnes bij te werken

BOB campagneo doelgroep => stiekem vooral jongeren (18-25)o herkenning en herinnering is hoogo waardering: ik ben verantwoordelijkheid voor anderen

effecteno geholpen bekendheid (werking) is hoog = kenniso houding: 88% staat positief tegenover 'afspraken maken'

55

o gedrag: 80% zegt afspraken te maken; daling overtreders bij politiecontroles

heel indirect effect, want mss meer controles, nieuwe technologie … maar ook bobcampagne zou een rol kunnen spelen

uiteindelijke effect hier is gedragsmatigo survey niet zo geschikt om dit te meteno wel vaak gebruik van gedragsobservaties

4 Onderzoeksanalyse onderzoeksvraag = cruciaal

o revisie lezersfeedback => verbetering tekstkwaliteit quasi-experiment

o niet alle factoren zuiver onder controle gehoudeno fouten op metingen etc.

je kunt twee kanten uito kant van observatieonderzoek => interviewtechniek gebruikt als een

uitwerking van je observatie => ander perspectief aan je onderzoeko interview = meerwaarde/slagkracht uit observatie of bij interviewen

een stukje observeren?o discussie kip/ei cruciaal in uitwerken onderzoeksbenadering

kappa = vorm van correlatie = posthoco zijn die groepen wel hetzelfde?o controles

waarom daar die T-test en waarom van de eerste keer een multi xxx analyse waarom hier parametrische toetsing ipv non-parametrische toetsing?

o ging om meer dan 25 personen => parametrische toetsing aandachtspunten vergelijk met modeluitwerking bespreek twee (relevante) verschilpunten

5 Examen P = praktijk; T = theorie analyse

o schema's: soort onderzoek? onderzoeksplano meso: wat voor soort statistische toetsing?o micro: welke vraag is hier gesteld

toegepasto van theoretisch concept naar praktijkuitwerking onderzoek

conceptueelo hier heb je een probleem - los het op door bv een stuk van een

onderzoeksplan te maken => voor- en nadelen verschillende onderzoeksbenaderingen

theoretische opdrachto vakterminologie beheersen; weten wat positieve en negatieve

beleefdheid is, dat je kunt interrelator reliability (??) … duiden leerstof

o readero B&DG: zie studiewijzer/studieplanner

6 Portfolio + uitwerking examen

56