1. Inleiding - RUG
Transcript of 1. Inleiding - RUG
1. Inleiding
De laatste jaren wordt over de westerse landen steeds minder gesproken als
productiemaatschappijen, en steeds meer als kenniseconomieën. De taken en problemen van
onze maatschappij liggen niet langer hoofdzakelijk bij de productie van goederen en
diensten. Onze maatschappij vereist een snelle en accurate toevoer en doorstroom van
informatie over onder andere de voorkeuren, behoeften, meningen en gedragingen van
verschillende bevolkingsgroepen. In antwoord op deze behoefte aan informatie van de
overheid, het bedrijfsleven en verscheidene sociale instanties wordt veelvuldig gebruik
gemaakt van de onderzoeksmethode van de enquête.
Enquêtes kunnen voor veel onderzoeksdoelen gebruikt worden en kunnen op meerdere
manieren uitgevoerd worden. Vaak wordt een enquête uitgevoerd als aanvulling op, of als
basis van een groter onderzoek. Een online enquête kan dan een goede uitkomst bieden.
Belangrijke voordelen van een online enquête boven andere enquêtestrategieën zijn de
snelheid waarmee de enquête opgezet, uitgevoerd en verwerkt kan worden, en het feit dat
redelijk eenvoudig een grote populatie bereikt kan worden. Een dergelijke
onderzoeksstrategie wordt dan ook vaak toegepast voor het uitvoeren van marktonderzoeken
of politieke peilingen. Voor een onderzoek met als thema ‘computervirussen’ wilde ik meer
weten over de manier waarop verschillende groepen computergebruikers omgaan met
computervirussen. Om dit te onderzoeken heb ik een enquête opgesteld en uitgevoerd op
papier en het World Wide Web, waarbij de respondenten gevraagd worden naar hun mening
over en hun gedragingen ten opzichte van computervirussen. Ondanks de vele adviezen en
waarschuwingen die in de literatuur over het opzetten en uitvoeren van een enquête te vinden
zijn, zijn de problemen die het uitvoeren van een enquête met zich mee kan brengen moeilijk
te voorzien. Om zoveel mogelijk moeilijkheden te voorkomen, zijn de adviezen van
verschillende onderzoekers voor het bewoorden van de vragen en het opstellen van
vragenlijsten nauwkeurig opgevolgd, en zijn de meeste vragen gesloten geformuleerd.
Zowel het opzetten van de enquête voor het ‘Computer Virus Onderzoek’ (in het vervolg
aangeduid met ‘CVO’), als het uitvoeren van de enquête onder 135 deelnemers leverden
geen problemen op. Het verwerken van de verzamelde gegevens is dan de volgende stap.
Hier liep ik tegen een tweetal moeilijkheden op:
1. De antwoorden die op de papieren versie ingevuld waren, zijn handmatig in MS Access
ingevoerd. De antwoorden die verzameld zijn door de online versie van de enquête zijn
verstuurd via e-mail. Deze e-mailberichten waren niet gestructureerd opgezet, waardoor
het nodig was ook deze antwoorden handmatig in te voeren in de database: respondent
1
voor respondent en antwoord voor antwoord: 135 x 58 = 7830 antwoorden. Het risico
om fouten te maken door antwoorden over te slaan, of foutieve waarden in te voeren, is
bij een dergelijke invoermethode te groot.
2. De antwoorden op de gesloten vragen konden rechtstreeks overgenomen worden in de
database. De verwerking van deze antwoorden leverde geen moeilijkheden op. Om de
antwoorden op de open vragen te kunnen verwerken zijn categorieën aangemaakt,
waarbij ieder antwoord in maximaal één categorie ingedeeld is. De categorieën kregen
een karakter toegekend (bijvoorbeeld ‘A’, ‘B’ of ‘C’), welke gebruikt is om als antwoord
op de betreffende vraag in de database op te slaan. Op deze manier zijn de antwoorden
dus ‘gekwantificeerd’ en behandeld als zijnde antwoorden op gesloten vragen. Een vraag
als “Wat is volgens u een passende straf voor virusmakers en anderen die bewust
virussen verspreiden?” leverde antwoorden op als “geldboete en gevangenisstraf”,
“actief inzetten bij gedupeerde bedrijven en een geldboete betalen”, “geldboete die
betaald moet worden aan degenen die schade hebben geleden”, en kortweg “geldboete”.
Al deze antwoorden zijn ingedeeld in de categorie “geldboete”. Echter, op deze manier
gaat te veel van de oorspronkelijke informatie verloren.
Het eerste probleemgebied, dat van de gegevensinvoer en de gegevensopslag, is te
verwachten bij een enquête die op papier uitgedeeld wordt. De antwoorden die via een
online enquête verzameld worden staan reeds in elektronische vorm opgeslagen en zouden
dus voor minder problemen op dit gebied moeten zorgen. Doordat de antwoorden op een
ongestructureerde manier via e-mail verzonden werden, kon nauwelijks van dit voordeel
gebruik gemaakt worden.
De verwerking van de antwoorden op de open vragen, het tweede probleemgebied, geeft bij
beide enquêtestrategieën problemen.
Er is dus behoefte aan één, eenvoudig en snel te gebruiken ‘tool’ voor het opzetten, het
uitvoeren en het verwerken van een enquête, en bij voorkeur een enquête die op het World
Wide Web uitgevoerd wordt. Daarbij dient het verwerkingssysteem dermate uitgebreid te
zijn dat het mogelijkheden biedt voor de invoer en opslag van de verzamelde antwoorden,
een analyse van de antwoorden op zowel de open als de gesloten vragen, en tenslotte een
presentatie van de uiteindelijke resultaten.
Aan de hand van deze systeemeisen kunnen de volgende vragen gesteld worden:
1. Hoe ziet een dergelijke ‘tool’ er idealiter uit?
2. Bestaat een dergelijke tool? En, zo ja: welke functies worden geboden?
3. Zo nee: is het mogelijk een dergelijke ‘tool’ te ontwikkelen en op welke manier kan
dit gebeuren?
2
Deze vragen hebben geleid tot de volgende onderzoeksvraag
“In hoeverre is het mogelijk antwoorden op zowel open als gesloten vragen in online
enquêtes zoveel mogelijk geautomatiseerd en in één systeem op te slaan, te analyseren en te
presenteren?”
Om een antwoord op deze onderzoeksvraag te kunnen geven, wordt in de volgende
hoofdstukken aandacht besteed aan de volgende tien deelvragen:
1. Wat zijn de voor- en nadelen van het uitvoeren van een online enquête, naast andere
enquêtestrategieën?
2. Wat zijn open vragen en gesloten vragen?
3. Welk vraagtype is het meest geschikt om te gebruiken in een enquête?
4. Op welke manieren kunnen de antwoorden op open vragen verwerkt worden?
5. Wat zijn de gewenste systeemfunctionaliteiten van een online enquêtesysteem?
6. Op welke manieren kunnen de antwoorden op zowel open als gesloten vragen tezamen
in één bestaand systeem opgeslagen, geanalyseerd en gepresenteerd worden?
7. Voldoen deze ‘totaal’-systemen aan de gewenste systeemfunctionaliteiten?
8. Op welke manier gaan bestaande online enquêtesystemen om met beide typen vragen en
antwoorden?
9. Voldoen deze online enquêtesystemen aan de gewenste systeemfunctionaliteiten?
10. Hoe kan een alternatief systeem, dat zoveel mogelijk tegemoet komt aan de gewenste
systeemfunctionaliteiten, eruit zien?
In hoofdstuk twee wordt een theoretisch kader geschetst waarbij een antwoord gegeven
wordt op de eerste drie deelvragen. Door te kijken naar verschillende methodologieën en
onderzoeksmethoden wordt uitgelegd wat de voor- en nadelen zijn van een enquête, in het
bijzonder van de online enquête. Verder behandelt dit theoretische hoofdstuk de begrippen
‘open vragen’ en ‘gesloten vragen’. Veel enquêtes zijn dusdanig opgesteld dat er zo min
mogelijk open vragen gesteld worden. Hoofdstuk twee sluit daarom af met het beantwoorden
van de derde deelvraag, welke vraagvorm het beste gekozen kan worden om te gebruiken in
een enquête.
Deelvraag vier wordt in hoofdstuk drie behandeld, waarbij wordt ingegaan op een methode
die een uitgebreide en verantwoorde analyse van open antwoorden mogelijk maakt: de op de
‘Grounded Theory’ methode gebaseerde ‘Computer Assisted Qualitative Data Analysis
Software’ of kortweg CAQDAS. Hoewel er wel computerprogramma’s als voorbeelden
3
genoemd worden, gaat het in dit hoofdstuk enkel om de theoretische mogelijkheden, niet om
specifieke software.
Deelvragen vijf, zes en zeven worden in het vierde hoofdstuk beantwoord. De verschillende
analysefuncties die in het derde hoofdstuk aan bod zijn gekomen, worden in dit hoofdstuk
afgezet tegen zowel de antwoorden op open vragen, als de antwoorden op gesloten vragen.
Aan de hand van deze koppeling en de bestudering van de mogelijkheden van twee
bestaande systemen, Kwalitan en MS Access, is gekeken wat de beste oplossing is en op
welke manier deze oplossing gekoppeld kan worden aan een online enquêtesysteem.
Om het onderzoek naar de verschillende mogelijkheden van bestaande ‘tools’ af te sluiten,
wordt een vergelijkend onderzoek gedaan naar bestaande online enquêtesystemen die de
onderzoeker begeleiden bij het aanmaken, uitvoeren en verwerken van een enquête. Op basis
van deze vergelijking en op basis van de in hoofdstuk drie opgedane kennis omtrent
verschillende CAQDAS functionaliteiten en de bruikbaarheid van deze functionaliteiten bij
de verwerking van antwoorden op zowel open als gesloten vragen, is het mogelijk een tool te
ontwerpen en te ontwikkelen die zoveel mogelijk voldoet aan de gewenste
systeemfunctionaliteiten. Deze realisatie en implementatie van een nieuwe online
enquêtesysteem wordt in hoofdstuk vijf uitgebreid besproken.
In hoofdstuk zes wordt bekeken op welke punten een vervolgonderzoek interessant kan zijn
en worden tussentijdse conclusies samengevoegd om een antwoord te geven op de
onderzoeksvraag.
Ter illustratie zijn regelmatig voorbeelden uit mijn eigen enquête gebruikt.
4
2. Theoretisch kader
2.1. Inleiding
De onderzoeksvraag suggereert een tweetal belangrijke thema’s, namelijk ‘online enquêtes’
en ‘antwoorden op open en gesloten vragen’.
Dit hoofdstuk is bedoeld om deze twee thema’s in de context van de onderzoeksvraag toe te
lichten, zodat deze in de volgende hoofdstukken, zonder verdere toelichting, gehanteerd
kunnen worden.
Het thema ‘online enquêtes’ wordt behandeld aan de hand van de termen
‘onderzoeksmethodologie’, ‘onderzoeksmethode’ en ‘onderzoeksstrategie’. Deze begrippen
worden kort uitgelegd en er worden van ieder begrip een aantal voorbeelden uitgewerkt.
Ook het tweede thema, ‘antwoorden op open en gesloten vragen’, komt in dit hoofdstuk aan
bod. Beide typen vragen, open en gesloten, worden gedefinieerd. Er wordt tevens bekeken
welke type het beste gebruikt kan worden aan de hand van een overzicht van voor- en
nadelen per vraagtype.
2.2. Enkele onderzoeksmethodologieën
Een methodologie kan beschouwd worden als het standpunt van waaruit een onderzoek
wordt uitgevoerd. Een methodologie kiezen heeft alles te maken met het type gegevens dat
gezocht wordt en het type onderzoek dat uitgevoerd moet worden. Er bestaan veel
verschillende methodologieën, zoals primair onderzoek, secundair onderzoek, inductief
onderzoek en deductief onderzoek (zie Skinner). Een andere opzet is die van het kwalitatieve
en kwantitatieve onderzoek. Voor deze scriptie zijn vooral de verschillen tussen deze twee
laatste onderzoeksmethodologieën interessant.
Het verschil tussen kwalitatief en kwantitatief onderzoek is niet zwart-wit. Kwantitatief
onderzoek zoekt naar aantallen, getallen en percentages. Kwantitatief onderzoek is
inventariserend. Dit type onderzoek wordt in de literatuur ook wel aangeduid met ‘hard
research’ (Silverman 2000). Voorbeelden van kwantitatief onderzoek zijn politieke peilingen
en marktonderzoek (voor bepaalde producten of diensten). Kwalitatief onderzoek is
explorerend. Dit type onderzoek zoekt naar (actieve) kennis, opvattingen, meningen en
gedragingen. Generaliserend kan gezegd worden dat kwalitatief onderzoek getallen vermijdt.
Dit type onderzoek wordt door Silverman (2000) ook wel ‘soft research’ genoemd.
5
De termen kwalitatief en kwantitatief worden in het vervolg met name gebruikt om twee
verschillende soorten gegevens aan te duiden, en niet zo zeer om twee verschillende
onderzoeksmethodologieën te omschrijven. Moore en McCabe (1997) beschouwen
kwantitatieve gegevens als numerieke waarden waarop rekenkundige bewerkingen en
statistische methoden toepasbaar zijn. Zij geven als voorbeelden van kwantitatieve gegevens
een lengte in centimeters of het inkomen in ecu per gezin. Kwalitatieve gegevens zijn
volgens hen de categorieën waartoe een persoon of ding behoort, zoals het geslacht van een
persoon. Deze waarden kunnen soms ook in getallen uitgedrukt worden zoals vrouwelijk = 1
en mannelijk = 0. Het is volgens hen niet zinvol om statistische methoden toe te passen op
een verzameling van nullen en enen en dat is de reden dat deze waarden kwalitatief zijn en
niet kwantitatief.
In deze scriptie worden de termen kwalitatief en kwantitatief op een iets andere manier
gehanteerd dan dat ze door Moore en McCabe gedefinieerd worden. Kwantitatieve gegevens
zijn in de context van deze scriptie alle gegevens die geteld of geturfd kunnen worden en die
snel en eenvoudig omgezet kunnen worden naar percentages. Kwalitatieve gegevens
daarentegen kunnen niet simpelweg geteld worden en dienen eerst geïnterpreteerd te worden
voordat analyse mogelijk is. Vanuit deze optiek is het voorbeeld dat Moore en McCabe
gaven, het geslacht van een persoon, een kwantitatief gegeven, immers er kan geteld worden
hoeveel respondenten mannelijk en hoeveel vrouwelijk zijn.
2.3. Enkele onderzoeksmethoden
Nadat een geschikte methodologie als invalshoek voor het onderzoek gekozen is, kan een
methode voor het uitvoeren van het onderzoek bepaald worden. Hierbij dient rekening
gehouden te worden met het type gegevens dat gezocht wordt en de methodologie die
gevolgd dient te worden.
Hier volgt allereerst een korte omschrijving van de meest gebruikte onderzoeksmethoden.
2.3.1. Experiment
Een experiment is een onderzoek dat geschiedt door middel van voor- en nametingen, rond
een uitgevoerde test. Het doel van een experiment is het bewijzen van een causale relatie
tussen te manipuleren onafhankelijke variabelen en te meten afhankelijke variabelen.
Hiervoor wordt gebruik gemaakt van proefpersonen of proefomgevingen in experimentele-
en controlegroepen, vaak in een laboratorium. Doordat in deze beperkte omgeving alle
variabelen onder controle gehouden kunnen worden, is er voor de verkregen resultaten geen
6
andere verklaring dan de ‘manipulatie door de onderzoeker’ als oorzaak mogelijk. Dit wordt
ook wel interpretatie-exclusiviteit genoemd. Bij een goed uitgevoerd experiment is er dus
sprake van een zeer nauwkeurige waarneming.
2.3.2. Enquête
Het doel van een enquête is het beschrijven en plausibel verklaren van verbanden tussen een
groot aantal kenmerken bij een groot aantal eenheden (individuen of groepen mensen). Het
gaat hierbij met name om gedragingen, opvattingen en meningen waarnaar gevraagd wordt.
Dit onderzoek kan door verschillende vraagtypen te gebruiken zowel kwalitatief als
kwantitatief zijn.1 Onderzoek geschiedt door ‘proefpersonen’ (respondenten) een vragenlijst
voor te leggen.
Hoewel een enquête op een redelijk eenvoudige en snelle manier veel informatie van veel
respondenten kan opleveren, kent het stellen van vragen aan respondenten ook vele
risicopunten die de resultaten ongemerkt sterk kunnen beïnvloeden. Babbie (2001) noemt als
voorbeelden hiervan: foutieve vraagstelling, foutieve vraagvolgorde en interpretatiefouten
door de respondent en / of de onderzoeker.
2.3.3. Veldonderzoek
Doel van het veldonderzoek is het observeren, beschrijven en interpreteren van gedragingen
van onderzoekseenheden (zoals mensen, planten of dieren) in een beperkte, natuurlijke
situatie. Middelen hierbij zijn ‘veldsubjecten’ in natuurlijke groepen. Doordat de
onderzoeker de natuurlijke situatie van een populatie bestudeert is hij / zij daarbij niet
afhankelijk van derden. Om betrouwbare resultaten te verkrijgen is het van belang dat de
natuurlijke situatie niet verstoord wordt door het onderzoek.
2.3.4. Bronnenonderzoek
Bronnenonderzoek, oftewel secundair onderzoek, is het raadplegen van bestaande bronnen.
Het kan hierbij bijvoorbeeld gaan om beschrijvingen van eerder gedaan onderzoek en de
resultaten daarvan, maar het kan ook gaan om beschreven feiten. Deze bronnen zijn onder
andere te vinden in archieven, databanken en bibliotheken. De middelen die gebruikt worden
zijn eenheden van beeld, geluid en tekst. Doordat het om bestaande bronnen gaat, die
opnieuw te raadplegen zijn, is het mogelijk goed vast te stellen welke invloed de interpretatie
van de onderzoeker heeft gehad op de resultaten van het onderzoek.
1 Voor de verschillende typen vragen, zie §2.5.
7
2.3.5. Vergelijking
Iedere onderzoeksmethode heeft zijn eigen voor- en nadelen. De meest kenmerkende van
deze voor- en nadelen zijn in tabel 1 kort nogmaals weergegeven.
Voordelen Nadelen Experiment - interpretatie-
exclusiviteit → zeer nauwkeurige waarneming
- alle condities dienen zoveel mogelijk hetzelfde te blijven
- kleinschalig onderzoek Enquête - grote
onderzoekspopulatie - eenvoudig om
meerdere kenmerken in één keer te bestuderen
- aantal resultaten afhankelijk van de medewerking van derden
- veel risicopunten Veldonderzoek - niet afhankelijk van
derden - flexibiliteit: het
onderzoek kan op ieder moment worden aangepast
- derden mogen zich niet bewust zijn van het onderzoek
- alle factoren die invloed kunnen hebben op de resultaten zijn variabel
- kleinschalig onderzoek Bronnenonderzoek - lage kosten
- exacte vaststelling van de interpretatie van de onderzoeker mogelijk
- geen gebruikmaking van nieuwe of vernieuwende gegevens
- eerder gedane onderzoek moet aansluiten bij eigen onderzoek
Tabel 1. Voor- en nadelen van verschillende onderzoeksmethoden.
2.4. Enkele enquêtestrategieën
Deze scriptie houdt zich bezig met de methode van de “enquête”. Nadat er gekozen is voor
deze onderzoeksmethode, volgt het kiezen van een onderzoeksstrategie om de enquête uit te
voeren. De drie meest gebruikte strategieën worden in deze paragraaf behandeld.
2.4.1. Mondeling
Mondelinge enquêtes zijn er in twee vormen, namelijk ‘face to face’ of via de telefoon. Uit
onderzoeken is gebleken dat interactie tussen de respondent en de enquêteur leidt tot een
betrouwbaarder resultaat van het onderzoek. Reden hiervoor is wellicht de mogelijkheid om
tussentijds toelichting te geven. Op deze manier kan meer duidelijkheid verschaft worden
8
omtrent de bedoeling van de vraag door de onderzoeker en de betekenis van het antwoord
door de respondent. Echter, juist door de aanwezigheid van de enquêteur is het ook mogelijk
dat de respondent niet een geheel eerlijk antwoord durft of wil geven. En een enquêteur die
niet neutraal is of die teveel in discussie treedt met de respondent kan het onderzoek sterk
beïnvloeden.
Mondelinge enquêtes kunnen ondersteund worden door het gebruik van een computer, er
wordt dan gesproken van de ‘Computer Assisted Personal Interviewing’ (CAPI) of
‘Computer Assisted Telephone Interviewing’ (CATI) methode. Door gebruikt te maken van
een computer is het mogelijk de bijzondere functionaliteiten van de computer aan te spreken.
Zo kan een door de computer ondersteunde enquête aan een database gekoppeld worden,
waardoor de gegevens direct elektronisch opgeslagen kunnen worden op een gestructureerde
manier, waarop meteen een analyse uitgevoerd kan worden. Ook de tijd die een respondent
nodig heeft gehad om een vraag te beantwoorden kan opgeslagen worden. Uit onderzoek is
gebleken dat de tijd die een respondent nodig heeft voor het beantwoorden van een vraag
samenhangt met het al dan niet ‘faken’ van een antwoord. Bij deze computerondersteunde
methode is het bovendien aantrekkelijk gebruik te maken van allerlei vormen van
multimedia, zoals bewegend beeld en geluiden. Door middel van hyperlinks kan de
respondent automatisch naar de volgende vraag geleid worden, afhankelijk van een eerder
gegeven antwoord.
Het aanwezig zijn van de enquêteur kost veel tijd (en geld) en daarom wordt een mondelinge
enquête vaak slechts op kleine schaal uitgevoerd. Door de aanwezigheid van de enquêteur
kunnen de respondenten niet anoniem antwoorden. Dit ligt vooral bij persoonlijke vragen
gevoelig.
2.4.2. Schriftelijk
Het werken met een (telefonische) enquêteur is niet altijd de meest ideale optie. Onder
andere bij gevoelige, persoonlijke en tijdrovende onderwerpen is de drempel tot openhartig
antwoorden hoger als er een interviewer in het spel is. Schriftelijk onderzoek kan dan een
uitkomst zijn.
Bij een schriftelijke enquête krijgt de respondent een formulier waarop de antwoorden
aangegeven of ingevuld kunnen worden. In de literatuur wordt deze methode ook wel ‘PAPI’
genoemd: ‘Paper And Pencil Interviewing’ (zie ook Vasu & Vasu 1999).
Voordelen van deze methode zijn het behoud van de privacy van de respondent en de
mogelijkheid voor de respondent de enquête op de voor hem / haar meest geschikte tijd en
op de meest geschikte plaats in te vullen. Ten opzichte van een mondelinge enquête, kent de
9
schriftelijke enquête als belangrijkste nadeel dat tussentijds ingrijpen door de enquêteur niet
mogelijk is. Bovendien is van tevoren nooit precies bekend hoeveel respondenten
uiteindelijk aan de enquête zullen meewerken, en de ingevulde enquête zullen retourneren.
2.4.3. Via het World Wide Web
Een methode die vergelijkbaar is met ‘PAPI’, is het afnemen van een enquête op Internet. De
respondent kan bij de onlinemethode in een formulier (‘online form’) de antwoorden
aanklikken of intypen. Deze methode wordt ook wel ‘Computer Assisted Survey Research’
(CASR), ‘Computerized Self-Administered Questionnaire’ (CSAQ) of ‘Computer Assisted
Web Interviewing’ (CAWI) genoemd (zie bijvoorbeeld Vasu & Vasu 1999, Nipo).
Kiesler en Sproull (1986) hebben een onderzoek gedaan naar de betrouwbaarheid van
antwoorden die gegeven zijn op enquêtes die op Internet uitgevoerd zijn, in vergelijking met
enquêtes die op papier uitgevoerd zijn. Zij kwamen tot de ontdekking dat elektronische
enquêtes waarschijnlijk betrouwbaarder waren dan de ‘PAPI’ methode. De respondenten
gaven eerlijkere antwoorden en namen een extremere positie in. Het artikel waarin dit
onderzoek kort wordt aangehaald vermeldt niet waarop deze conclusie is gebaseerd.
Waarschijnlijk is de online enquête betrouwbaarder dan de schriftelijke enquête doordat de
respondent er zelf voor kiest de website met de online enquête te bezoeken en aan de enquête
mee te werken. De motivatie om de enquête naar waarheid in te vullen zal daardoor wellicht
groter zijn dan bij een schriftelijke enquête.
De voordelen van de schriftelijke enquête en van de door een computer ondersteunde
mondelinge enquête gelden ook voor de online enquête. De enquête kan op een plaats en tijd
ingevuld worden die voor de respondent het meest geschikt is. Bovendien biedt de online
enquête de respondent meer privacy, doordat er geen enquêteur bij aanwezig is. De
technische mogelijkheden van het World Wide Web kunnen door een online enquête goed
benut worden: gebruik van multimedia, hyperlinks en een direct aan de enquête gekoppelde
database voor een gestructureerde opslag van de gegevens en een directe verwerking
(‘realtime’) van de verzamelde antwoorden.
Maar een enquête op het Internet kent nog meer voordelen. Allereerst heeft de online
enquête als voordeel boven de schriftelijke enquête dat er nauwelijks kosten voor de
verspreiding aan verbonden zijn: er hoeft niets geprint of gekopieerd te worden.
Het grootste voordeel is waarschijnlijk wel de eenvoud en de snelheid waarmee een
ongekend grote populatie bereikt kan worden. Coomber (1997) schrijft over zijn ervaringen
met een online uitgevoerde enquête: “A potentially vast population of all kinds of
10
individuals and groups may be more easily reached than ever before, across geographical
borders, and even continents.”
Coomber geeft toe dat het Internet ook nadelen kent. Via het Internet worden alleen
respondenten bereikt die van de computertechnologie gebruik (kunnen) maken. Dit heeft zijn
weerslag op de representativiteit wat betreft achtergrond, opleiding en geslacht van de
bereikte individuen.2 Ook Babbie (2001) geeft aan dat de representatie een probleem is voor
de meeste onderzoekers: zijn de mensen die deelnemen aan een online enquête wel
representatief voor de te onderzoeken populatie? Echter, in 1996 berichtte Nielsen al: “While
Internet users still tend to be upscale, their overall characteristics are coming more in line
with general population averages.” En: “Internet access and use are becoming increasingly
mainstream.” (zie hiervoor de website van CommerceNet). Tegenwoordig zijn er steeds
meer mensen uit allerlei bevolkingsgroepen die gebruik maken van het Internet, en die
daardoor bereikbaar zijn voor een enquête die via dit medium uitgevoerd wordt. Toch dient
er rekening gehouden te worden met het feit dat bepaalde groepen op deze manier niet
bereikt zullen worden en dat het ook mogelijk is dat een respondent de enquête meerdere
malen invult.
2.4.4. Vergelijking
In tabel 2 zijn de voor- en nadelen van de besproken enquêtestrategieën puntsgewijs
nogmaals naast elkaar gezet.
Voordelen Nadelen Mondeling - interactie leidt tot betere
uitkomsten - tussentijds toelichten of
ingrijpen mogelijk - aantal respondenten van
tevoren bekend - indien ondersteund door
computer: koppeling aan gestructureerde database, gebruik van hyperlinks en gebruik van multimedia
- aanwezigheid van enquêteur kost geld en tijd → kleinschalig onderzoek
- weinig anonimiteit - aanwezigheid van
enquêteur kan resultaten sterk beïnvloeden
Schriftelijk - veel anonimiteit - kan op eigen plaats en tijd
ingevuld worden
- aantal respondenten van tevoren niet bekend
- drukken en verspreiden van enquêtes kostbaar
- tussentijds toelichten of
2 In 1997 waren het voornamelijk nog de welgestelde, goedopgeleide jonge mannen die gebruik maakten van het World Wide Web en die dus via dit medium bereikbaar waren voor deelname aan een enquête.
11
12
ingrijpen niet mogelijk Online - veel anonimiteit
- kan op eigen plaats en tijd ingevuld worden
- koppeling aan gestructureerde database
- gebruikmaking van multimedia
- gebruikmaking van hyperlinks
- lage kosten - grote onderzoekspopulatie
- aantal respondenten van tevoren niet bekend
- tussentijds toelichten of ingrijpen niet mogelijk
- sommige respondenten niet bereikbaar door techniek
- enquête kan meerdere malen door dezelfde respondent ingevuld worden
Schema 2. Voor- en nadelen van verschillende enquêtestrategieën.
2.5. Twee vraagvormen
Een enquête kan zoals eerder gezegd uit twee soorten vragen bestaan: gesloten en open
vragen. In deze paragraaf worden de verschillen tussen deze twee vraagvormen aangegeven.
2.5.1. Gesloten vragen
Gesloten vragen zijn vragen waarbij de respondent een antwoord kan kiezen uit een set
vooraf gegeven alternatieven. Indien het gaat om toetsvragen (proefwerk, examen e.d.),
heten de foutieve alternatieven ‘afleiders’. (Zie ook Moelands e.a.) Om een set met
alternatieven te bedenken heeft de onderzoeker veel kennis nodig van het bevraagde
onderwerp en van de respondenten. De set dient ‘exclusive’ (exclusief) en ‘exhaustive’
(uitputtend) te zijn: de antwoorden mogen elkaar niet overlappen, en alle te bedenken
antwoorden moeten opgenomen zijn. Het antwoord dat de respondent zal kiezen is bij een
gesloten vraag sterk afhankelijk van de gepresenteerde set antwoordmogelijkheden. Bij een
kleiner aantal alternatieven is de kans dat het ‘goede’ antwoord geraden of gegokt wordt
groter. De combinatie van een vraag met gegeven antwoorden waaruit de respondent dient te
kiezen zorgt ervoor dat de kans op een verkeerde interpretatie door zowel de respondent als
de onderzoeker aanzienlijk verkleind wordt.
Een gesloten vraag kan in vele vormen voorkomen:
- meerkeuzevraag met alternatieven waarbij één antwoord aangekruist mag worden, in
een online formulier weergegeven met een zogenaamde radiobutton:
- meerkeuzevraag met alternatieven waarbij meerdere antwoorden aangekruist mogen
worden, in een online formulier aangegeven met een zogenaamde checkbox:
- likertschaal waarbij de ondervraagde op een schaalverdeling een mening aan kan
geven (schaal loopt bijvoorbeeld van “mee oneens – neutraal – mee eens”)
- meerkeuzevragen met, afhankelijk van het gekozen antwoord, een vervolgvraag.
De antwoorden op gesloten vragen zijn eenvoudig te tellen en te verwerken omdat er een
restrictie is gegeven aan het maximale aantal verschillende antwoorden, en omdat de
verschillende antwoordmogelijkheden van tevoren bekend zijn. De analyse van de
antwoorden op gesloten vragen is vergelijkbaar met de verwerking van kwantitatieve
gegevens, en daarom worden de antwoorden op de gesloten vragen in het vervolg ook wel
aangeduid met kwantitatieve gegevens.
2.5.2. Open vragen
Bij open vragen dient de respondent zelf een antwoord te bedenken en in te vullen. Een open
vraag kan de respondent vragen om een geheel eigen, open antwoord te geven, in volzinnen.
Dit levert vaak veel woorden op, die voor de analyse van de antwoorden overbodig zijn,
zoals lidwoorden, hulpwerkwoorden en voorzetsels. Daarom kan er ook gevraagd worden
om woordassociaties. Hierbij worden alleen de functiewerkwoorden en naamwoorden door
de respondent genoteerd, waardoor antwoord door de respondent zelf al teruggebracht wordt
tot de essentie.
In de meeste enquêtes wordt echter nauwelijks gebruik gemaakt van open vragen. Dit heeft
voornamelijk te maken met de tijdrovende en kostbare verwerking van open antwoorden. De
antwoorden zijn moeilijker te categoriseren en kunnen niet simpelweg geteld worden. De
onderzoeker moet meer tijd nemen voor het doornemen en interpreteren van de antwoorden.
Deze interpretatie levert het gevaar op van ‘misunderstanding’ en ‘researcher bias’: de
resultaten zijn afhankelijk van de interpretatie van de vraag door de respondent, en de
interpretatie van het antwoord door de onderzoeker (Babbie 2001). De uiteindelijke
resultaten kunnen door een verkeerde interpretatie de plank volledig misslaan.
Soms is het noodzakelijk een open vraag te stellen, bijvoorbeeld wanneer het niet mogelijk is
van tevoren alle mogelijke alternatieven voor een gesloten versie te bedenken, of wanneer de
onderzoeker wil voorkomen dat de respondent in een bepaalde richting geduwd wordt of een
bepaald antwoord moet kiezen. In sommige gevallen is het belangrijk de actieve kennis van
de respondent te testen (bijvoorbeeld in het geval van toetsen en examens). Een open
antwoord is vaak genuanceerder dan een gesloten antwoord en geeft een grote hoeveelheid
details.
Een open vraag kent ook meerdere gradaties. Een volledig open vraag is bijvoorbeeld:
“Heeft u verder nog vragen of opmerkingen?”. Het antwoord op deze vraag is van tevoren
13
volstrekt onbekend voor de onderzoeker. Een respondent kan een vraag stellen of een
opmerking maken over het doel van het onderzoek, de opzet van het onderzoek, de resultaten
van het onderzoek of over een specifieke vraag uit de enquête.
Een andere gradatie is een open vraag die wel vraagt om een geheel eigen antwoord in te
voeren, maar waarbij de respondent door de vraagstelling al wel in een bepaalde richting
geduwd wordt. Bijvoorbeeld: “Hoe bent u erachter gekomen dat uw computer geïnfecteerd
was met een computervirus?”. Hoewel het antwoord niet van tevoren bekend is, is bij een
dergelijke vraag wel bekend waar de respondent over zal schrijven, namelijk de manier
waarop hij / zij erachter is gekomen dat de computer geïnfecteerd was met een
computervirus.
Een derde mogelijkheid is een open vraag die net zo goed ook in gesloten vorm gesteld kan
worden en waarbij de vorm van het antwoord van tevoren bekend is: “Wat is uw leeftijd?”.
Een gesloten versie van deze vraag kan zijn: “Tot welke leeftijdscategorie behoort u?”. De
onderzoeker weet dat de respondent in het geval van de open vraag een getal zal invullen, en
in het geval van de gesloten vraag een categorie. Beide antwoorden zijn te behandelen als
een gesloten antwoord: eenvoudig te tellen (of te turven) en daardoor geschikt voor een
snelle statistische verwerking.
2.5.3. Gesloten vraag met open optie
Een bijzondere vorm van gesloten vraag is de gesloten vraag met een open optie.
Voorbeelden uit mijn eigen enquête zijn: “Anders, namelijk:…” en “Ja, omdat: …”. Door
een dergelijke optie op te nemen in de vraag wordt het voor de respondent mogelijk een
antwoord te geven, dat niet opgenomen is in de set vooraf gegeven alternatieven. Indien de
respondent er voor kiest hier een eigen antwoord in te vullen wordt de gesloten vraag opeens
een open vraag en dient het antwoord ook als dusdanig behandeld te worden.
2.5.4. Vergelijking
De manier waarop de vraag gesteld wordt, heeft grote invloed op het antwoord van de
respondent. Gendall en Hoek (1990) hebben een meervoudig onderzoek gedaan in hoeverre
het gegeven antwoord afhangt van de bewoording van de vraag (positief of negatief
bijvoorbeeld), de volgorde waarin de vragen gesteld worden en het type vraag dat gekozen
wordt, open of gesloten. Om te onderzoeken wat het verschil in resultaten kan zijn bij een
open of een gesloten vraag, hebben de onderzoekers een testenquête gehouden. Zij hebben
de ondervraagden telkens één van de volgende vragen voorgelegd:
14
Versie 1 – Open vraag:
“What do you think is the single most important problem facing New Zealand right now?”
Versie 2 – Gesloten vraag:
“Which of these is the single most important problem facing New Zealand right now?”
Aids Interest rates
Inflation Unemployment
High exchange rates Economy in general
Law and order Racial problems
Antwoorden op de open vraag zijn uiteindelijk (daar waar mogelijk) gecategoriseerd in
gesloten alternatieven zodat vergelijking met de gesloten vraag mogelijk werd. De
categorieën en de resultaten van beide vraagstellingen zijn in tabel 3 naast elkaar gezet.
Most important problem Gesloten vraag % Open vraag %
Unemployment 56 50
Economy in general 22 11
Law and order 9 5
Racial problems 7 10
Aids 6 -
Don’t know 1 -
Unstable government - 5
Declining moral standards - 3
Other * - 16
Total 100% 100%
* “Including: schooling, drugs, lack of Christian faith, laziness, David Lange, breakdown of
family”
Tabel 3. Resultaten van de testenquête van Gendall en Hoek (1990).
Zoals de onderzoekers verwachtten, en zoals in bovenstaande tabel duidelijk af te lezen is,
was het patroon van de gegeven antwoorden op de open en de gesloten vraag verschillend,
terwijl het algemene beeld dat van beiden ontstond hetzelfde was (bijvoorbeeld,
15
‘unemployment’ was in beide gevallen het belangrijkste issue volgens de respondenten).
Hieruit kan geconcludeerd worden dat de resultaten voor een deel wel degelijk afhangen van
de vraagvorm.
Beide vraagvormen hebben eigen voor- en nadelen. Deze zijn in tabel 4 kort opgesomd.3
Voordelen Nadelen Open vragen
- genuanceerde en informatieve antwoorden door gebruikmaking van jargon en creativiteit bij verwoorden van het antwoord
- respondent wordt niet in een richting geduwd of gedwongen een keuze te maken
- antwoord kan niet geraden of gegokt worden
- onderzoeker hoeft geen rekening te houden met set alternatieven
- verwerking van de verzamelde antwoorden is tijdrovend
- verkeerde interpretatie mogelijk door zowel respondent als onderzoeker
Gesloten vragen
- antwoorden makkelijk (statistisch) te verwerken
- resultaten betrouwbaar - kans op misinterpretatie
minimaal
- kennis nodig van onderwerp en respondenten voor maken van een alternatievenset
- resultaten afhankelijk van het alternatievenset
- minder informatief dan open antwoorden
Tabel 4. Voor- en nadelen van de verschillende vraagvormen.
2.6. Conclusie
In dit hoofdstuk zijn in het kort een aantal onderzoeksmethodologieën en
onderzoeksmethoden besproken. De onderzoeksmethode van de enquête is verder uitgewerkt
in een bespreking van de verschillende enquêtestrategieën, waarbij de nadruk lag op de
bespreking van de online enquête. Tenslotte zijn twee verschillende typen vragen die in een
enquête kunnen voorkomen kort vergeleken. Bij dergelijke vergelijkingen tussen open en
gesloten vragen in de literatuur wordt vaak aangeraden in enquêtes alleen gebruik te maken
3 Hierbij moet wederom vermeld worden dat de lijst niet uitputtend is, maar alleen ingaat op verschillen die voor het onderwerp van deze scriptie van belang zijn.
16
van gesloten vragen, vanwege de korte verwerkingstijd en de betrouwbaarheid van de
verzamelde antwoorden.
Een in de literatuur vaak genoemd advies is het uitvoeren van een ‘pilot test’, waarbij in een
testenquête een open versie van de vraag geformuleerd worden. Aan de hand van de
verkregen antwoorden op deze testvraag kan vervolgens een set alternatieven voor een
gesloten vraag geformuleerd worden, die gebruikt kan worden in de definitieve versie van de
enquête.
Welke vraagvorm het meest geschikt is, is sterk afhankelijk van de situatie en van het doel
van het onderzoek. Veel onderzoekers wegen het belang van een bepaald type vraag, open of
gesloten, af tegen het werk dat er voor nodig is om de antwoorden te verwerken. Op de
website van het online enquêtesysteem eXamine staat letterlijk: “Wilt u open vragen stellen?
Bedenk wel dat de antwoorden hierop lastig te analyseren zijn. Mogelijk bent u meer gebaat
bij voorgedefinieerde antwoorden…”.
Hoofdstuk 3 en 4 gaan verder in op de verschillen die er zijn bij de analyse van de
antwoorden op open vragen en de analyse van de antwoorden op gesloten vragen. In het
vervolg zullen deze twee antwoordtypen aangeduid worden met ‘open antwoorden’ en
‘gesloten antwoorden’.
17
3. Wat zijn de mogelijkheden voor analyse van kwalitatieve data?
3.1. Inleiding
In het vorige hoofdstuk zijn de globale verschillen tussen open en gesloten vragen
behandeld. Dit hoofdstuk en de volgende hoofdstukken richten zich voornamelijk op de
verschillen tussen de verwerking van ‘open antwoorden’ en de verwerking van ‘gesloten
antwoorden’.
De verwerking van de verkregen antwoorden kan in een drietal stappen opgesplitst worden:
1. Antwoorden op een gestructureerde wijze opslaan > invoer
2. Analyse uitvoeren op de antwoorden > analyse
3. Resultaten van de analyse presenteren > uitvoer
Gesloten vragen bestaan uit een set vooraf gegeven antwoorden. Hoewel van tevoren niet
bekend is welk antwoord de respondent zal kiezen, is de set van mogelijk te kiezen
antwoorden dus wel bekend. Veelal zijn de gesloten antwoorden geprecodeerd of bestaan ze
uit numerieke waarden. Dit maakt het eenvoudig de antwoorden in een database zoals MS
Access op te slaan. De gegevens zijn in een dergelijk programma dermate gestructureerd
opgeslagen dat ze geëxporteerd kunnen worden naar een ander computerprogramma voor
een toepassing van statistische methoden. Voorbeelden van dit soort statistische
programma’s zijn MS Excel en SPSS (Statistical Package for Social Science). Hoofdstukken
4 en 5 gaan nader in op het gebruik van enkele statistische functies en op het gebruik van MS
Access om de verzamelde gegevens op te slaan en te verwerken.
Open antwoorden kunnen zowel lang (bijvoorbeeld een antwoord op een essayvraag) als kort
zijn. Het is mogelijk deze antwoorden in een kwantitatieve database op te slaan, maar dan
ligt er vaak een restrictie op het maximaal aantal karakters dat in één veld opgeslagen kan
worden.4 Voor korte open antwoorden vormt deze restrictie vaak geen probleem. Langere
teksten hebben echter een andere aanpak nodig voor opslag en structurering.
De verwerking van gesloten antwoorden is voor de meeste onderzoekers een bekend proces
dat redelijk voor zich spreekt. De verwerking van de open antwoorden daarentegen kent
meer moeilijkheden. De antwoorden kunnen vaak niet simpelweg geteld en geturfd worden,
18
maar moeten eerst geïnterpreteerd worden. Een kwantitatieve database is niet ontworpen
voor een dergelijke interpretatie van de gegevens en kent geen speciale mogelijkheden om
de onderzoeker bij deze taak te ondersteunen.
In dit hoofdstuk worden enkele bestaande mogelijkheden om kwalitatieve data te analyseren
besproken. Dit gebeurt aan de hand van beschrijvingen en discussies in de literatuur en mijn
eigen bevindingen bij het werken met enkele computerprogramma’s die gebruikt kunnen
worden voor het analyseren van open antwoorden, zoals MS Word, MS Access, Wordsmith,
Kwalitan, MaxQDA en Form2Data.
3.2. Ontwikkeling van kwalitatieve data analyse
‘Qualitative data analysis’ is een term die gebruikt wordt voor een grote verzameling
methoden voor de analyse van kwalitatieve data. De analyse van kwalitatieve data, of meer
specifiek van open antwoorden kan op twee manieren gebeuren: handmatig en met behulp
van de computer
Tot een aantal jaren geleden maakten de meeste kwalitatieve onderzoekers voornamelijk
gebruik van pen en papier bij hun onderzoek. Bevindingen en observaties werden
opgeschreven, waarna ze overgenomen werden op indexkaartjes waarmee geschoven kon
worden om zo alle bij elkaar horende onderdelen (bijvoorbeeld segmenten van de tekst of
antwoorden op een specifieke vraag) te verzamelen. De computer werd hooguit gebruikt
voor het intypen van hun analyses (Weitzman 2000).
Tegenwoordig worden de meeste (grotere) kwalitatieve onderzoeken niet meer handmatig
uitgevoerd. Kwalitatieve onderzoekers maken nu veelal dankbaar gebruik van ‘Computer-
Assisted Qualitative Data Analysis Software’, oftewel CAQDAS. De term ‘computer-
assisted’ geeft reeds aan dat bij dergelijke software niet gedacht moet worden aan een
computerprogramma dat in staat is de kwalitatieve analyse voor de onderzoeker uit te voeren
(zoals de computer wel in staat is kwantitatieve analyses uit te voeren met programma’s als
SPSS en MS Excel). De software is in staat de data voor te bereiden op een interpretatie door
de onderzoeker, bijvoorbeeld door middel van ‘content analysis’5.
Miles en Huberman (1994: p44) omschrijven de rol van de computer bij het uitvoeren van
een kwalitatief onderzoek als volgt:
4 In MS Access kunnen in een veld van het datatype ‘char’ maximaal 255 karakters opgeslagen worden; in een veld van het datatype ‘memo’ maximaal 64.000 karakters.
19
1. Making notes in the field;
2. Writing up or transcribing field notes;
3. Editing: correcting, extending, or revising field notes;
4. Coding: attaching keywords or tags to segments of text to permit later retrieval;
5. Storage: keeping text in an organized database;
6. Search and retrieval: locating relevant segments of text and making them available for
inspection;
7. Data “linking”: connecting relevant data segments to each other to form categories,
clusters, or networks of information;
8. Memoing: writing reflective commentaries on some aspect of the data as a basis for
deeper analysis;
9. Content analysis: counting frequencies, sequences, or locations of words and phrases;
10. Data display: placing selected or reduced data in a condensed, organized format, such as
a matrix or network, for inspection;
11. Conclusion-drawing and verification: aiding the analyst to interpret displayed data and to
test or confirm hypotheses;
12. Theory-building: developing systematic, conceptually coherent explanations of findings
and testing hypotheses;
13. Graphic mapping: creating diagrams that depict findings or theories; and
14. Report-writing
Bovenstaande opsomming geeft in korte bewoordingen de mogelijke CAQDAS
functionaliteiten weer. Een aantal CAQDAS programma’s zijn op de aanwezigheid en
werking van deze functionaliteiten getest. Punten tien tot en met dertien in bovenstaande
lijst zijn functies die gebruikt kunnen worden voor de ontwikkeling van een nieuwe theorie.
Een enquête wordt veelal uitgevoerd om een bepaalde bestaande theorie te testen. Een
onderzoeker die snel een online enquête wil uitvoeren heeft wellicht weinig baat bij deze
uitgebreide functies. De beschouwing van de functionaliteiten van de geteste programma’s
beperkt zich daarom tot punten één tot en met negen in bovenstaande lijst van Miles en
Huberman.
Ryan en Bernard (2000) onderscheiden twee basismethoden voor CAQDAS om tekst te
analyseren: op woordniveau (‘content analysis’) en op segmentniveau (op basis van de
5 Voor meer informatie over ‘content analysis’ zie §3.3.
20
Grounded Theory methode). Aan de hand van deze twee niveaus worden in de volgende
paragrafen de belangrijkste en meest gebruikte CAQDAS technieken besproken.
3.3. CAQDAS functies op woordniveau: ‘content analysis’
De meest voor de hand liggende manier om een analyse op kwalitatieve data uit te voeren is
‘content analysis’. ‘Content analysis’ is een analysemethode die de inhoud van de tekst
analyseert op woordniveau. Dit kan op meerdere manieren gebeuren. ‘Words-in-context’
(WIC) en ‘words-out-of-context’ (WOC) reduceren de tekst tot de fundamentele betekenis
van specifieke woorden. Zo wordt het voor onderzoekers gemakkelijker patronen te
herkennen en teksten onderling te vergelijken. Het programma Wordsmith is gebruikt om te
kijken welke ‘content analysis’ functies bestaan en hoe ze gebruikt kunnen worden. Dit
programma kent onder andere de volgende mogelijkheden: maken van
woordfrequentielijsten, woord x woord matrices, lijsten met sleutelwoorden en
concordantielijsten.
3.3.1. Words-in-context
Bij WIC wordt een lijst gemaakt van alle voorkomens van een door de onderzoeker
opgegeven woord, waarbij het woord elke keer in de context van een vast aantal woorden
(bijvoorbeeld 30) wordt weergegeven. De lijst die hieruit ontstaat is een concordantielijst.
Een andere WIC functie is het maken van een collocatie-overzicht. De onderzoeker geeft bij
deze functie een woord op waarnaar door het programma gezocht moet worden. Vervolgens
worden alle woordcombinaties waarin het opgegeven woord voorkomt opgenomen in een
tabel. Daarbij wordt aangegeven hoe vaak het woord dat samen met het opgegeven woord
een woordcombinatie vormt, voor óf na het opgegeven woord in de tekst voorkomt.
Tenslotte is het in Wordsmith mogelijk een lijst te genereren met de meest voorkomende
woordparen en hun frequenties. De resultaten van deze laatste twee opdrachten kunnen in
een tabel gepresenteerd worden of in een woord x woord matrix, een tweedimensionale tabel
waarin aangeven wordt hoe vaak ieder woord samen met een ander woord voorkomt.
3.3.2. Words-out-of-context
Bij WOC analyse wordt een lijst gemaakt van alle voorkomende woorden en het aantal keren
dat de woorden in de tekst voorkomen, hun frequenties. Wanneer een woordfrequentielijst
gemaakt wordt, zullen in veel gevallen woorden als ‘de’, ‘het’ en ‘een’ hoog boven in de lijst
voorkomen. Vaak zijn dit echter niet de woorden die interessant zijn voor het onderzoek.
21
Wordsmith biedt daarom ook de mogelijkheid een woordenlijst te genereren die enkel de
woorden weergeeft die significant vaak voorkomen, de sleutelwoorden.
Nadeel van de WOC methode is dat de woorden uit de context gehaald worden. Wanneer
een woord meerdere betekenissen kan hebben (ambigue woorden), kan het na het uitvoeren
van een WOC analyse onduidelijk geworden zijn om welke betekenis van het woord het
gaat. Ook informatie over de manier waarop het woord in de tekst gebruikt is, positief of
negatief, gaat verloren. Door de woorden uit de context te halen, kunnen subtiele, doch
belangrijke, nuances verloren gaan.
3.4. CAQDAS functies op segmentniveau: Grounded Theory
CAQDAS kan diverse ‘content analysis’ functies uitvoeren. Daarnaast bieden de
computerprogramma’s ook andere mogelijkheden die speciaal voor de analyse van
kwalitatieve data ontwikkeld zijn en die nauwelijks handmatig uitvoerbaar zijn, zoals het
coderen van de tekst, het aanbrengen van connecties tussen de codes en het aanbrengen van
hyperlinks. In deze paragraaf worden de achterliggende gedachten en de belangrijkste
CAQDAS functies besproken aan de hand van gelezen literatuur en geteste software.6
3.4.1. Grounded Theory
De meeste CAQDAS programma’s werken op basis van een theorie-ontwikkelingsmethode
die ontwikkeld is door Glaser & Strauss: Grounded Theory.7 In hun centrale werk Discovery
of Grounded Theory (1967) opperen zij een nieuwe strategie om theorieën te ontwikkelen.
Zij stellen voor dat gefundeerde theorieën stap voor stap ontwikkeld worden op basis van
systematisch verkregen en geanalyseerde onderzoeksgegevens. De onderzoeker begint met
het lezen van een klein gedeelte van de verzamelde data, bijvoorbeeld een tekstsegment of
een antwoord op een open vraag. Daarna worden één of meerdere labels aan dit segment
toegekend, die in het kort informatie verschaffen over de inhoud van het segment.
6 Deze bespreking beperkt zich tot de punten één tot en met negen van de lijst van Miles en Huberman, zie §3.2. 7 Over het feit of CAQDAS programma’s wel of niet gebaseerd zijn op de Grounded Theory methode wordt al enige tijd fel gedebatteerd (zie bijvoorbeeld Lonkila 1995; Kelle 1997; Lee & Fielding 1996; Coffey, Holbrook & Atkinson 1996). Lonkila (1995: p46) schrijft hierover: “It seems clear that the development of CAQDAS programs has strongly been influenced by grounded theory. But it does not follow from this that they can only be used in an analysis in line with grounded methodology.” Kelle voegt daaraan toe dat de meeste ontwikkelaars van CAQDAS programma’s kwalitatieve onderzoekers zijn die een andere methodologie volgen dan de Grounded Theory methode. Hoewel de programma’s dus gebaseerd lijken te zijn op de Grounded Theory methode, zijn ze wel degelijk ook voor andere theorie-ontwikkelingsmethoden bruikbaar.
22
De tweede stap van de Grounded Theory methode is het vergelijken. Hierbij kunnen
meerdere soorten vergelijkingen onderscheiden worden (Charmaz 2000):
- vergelijken van verschillende personen (situaties, acties);
- vergelijken van gegevens van dezelfde persoon op verschillende tijden;
- vergelijken van verschillende incidenten;
- vergelijken van gegevens met categorieën;
- en tenslotte het vergelijken van een categorie met andere categorieën.
Tijdens de analyse schrijft de onderzoeker memo’s om zijn / haar ideeën over de labels, de
relaties tussen de labels en tussen de categorieën, en overige gedachten over de segmenten te
archiveren.
Bij zeer grote corpora bestaat het risico dat een segment over het hoofd gezien wordt en niet
gecodeerd wordt. Vanwege dit risico zijn enkele onderzoekers geneigd te zeggen dat een
grondige codering alleen mogelijk is door gebruikmaking van computerprogrammatuur
(onder andere Lonkila 1995: p45).
De principes van coderen (ook wel indexeren of labelen genoemd), vergelijken (ook wel
aangegeven met ‘search and retrieve’) en het bijhouden van memo’s worden veelvuldig
toegepast in software voor de analyse van kwalitatieve gegevens. In de volgende paragraaf
wordt de connectie tussen Grounded Theory en CAQDAS verder duidelijk door de
bespreking van analytische functies die bij beide een centrale rol spelen:
- coderen
- structureren van de codes
- memo’s toevoegen en annoteren
- links en hypertekst toevoegen
- zoeken en verzamelen
- weergeven van de gegevens en de resultaten
3.4.2. Coderen van de data
De eerste functie waarin CAQDAS de onderzoeker kan ondersteunen is het aanmaken en
toekennen van codes. Codes zijn een belangrijk instrument voor de onderzoeker die
materiaal aan een kwalitatieve analyse onderwerpt. Codes worden in de meeste
computerprogramma’s toegekend op het niveau van de segmenten, kleine delen van de tekst.
Door middel van codes kan de onderzoeker vastleggen waar het segment over gaat of wat
zijn / haar interpretatie is van hetgeen in het segment wordt aangetroffen.
23
In sommige gevallen moeten de codes handmatig toegekend worden, terwijl de onderzoeker
de tekst leest. Andere programma’s zijn in staat om de codes automatisch toe te voegen aan
de segmenten, door opgave van een te zoeken woord (of een combinatie van woorden), het
bereik waarbinnen gezocht moet worden en de code die toegekend moet worden. Het is
hierbij verstandig de automatisch toegekende codes te controleren, in verband met de
ambiguïteit van een groot aantal woorden.
Seidel en Kelle (1995: p57) omschrijven de functie van codes als ‘signposting’: het is een
noodzakelijke voorbereiding voor het verzamelen van alle relevante segmenten, en voor het
vergelijken van relevante segmenten. Na het coderen kan de tekst in stukken opgebroken
worden en is het mogelijk alle relevante delen te verzamelen, waarbij gezocht wordt naar
specifiek opgegeven codes.
Door een code aan een tekst te verbinden, heeft de onderzoeker besloten dat het betreffende
segment overeenkomt met alle andere segmenten met dezelfde code, en dat het segment niet
overeenkomt met segmenten die deze code niet hebben gekregen. De codes bevatten daarom
ook informatie over de overeenkomsten en verschillen tussen de segmenten.
Lonkila (1995) gaat uit van drie stappen in het coderingsproces, die elkaar niet perse hoeven
op te volgen, maar dat vaak wel doen. Allereerst noemt de auteur de methode van ‘open
coding’. Open coderen is bedoeld om het onderzoek op gang te krijgen. Strauss en Corbin
(1990) omschrijven open coderen als volgt:
“… the analytic process by which concepts are identified and developed in terms of their
properties and dimensions. The basic analytic procedures by which this is accomplished
are: the asking of questions about the data; and the making of comparisons for
similarities and differences between each incident, event or other instances of
phenomena. Similar events and incidents are labeled and grouped to form categories.”
Open coderen breekt een tekst in stukken, segmenten, en staat de onderzoeker toe nieuwe
codes toe te kennen en in categorieën onder te brengen.
Een volgende stap is volgens Lonkila het ‘axial coding’. Hierbij probeert de onderzoeker de
relaties tussen de verschillende codes en categorieën vast te leggen.8 Op deze manier worden
de datasegmenten weer bij elkaar terug gebracht door een meer hiërarchische structuur aan te
brengen in de vorm van categorieën.
Een laatste stap betreft het ‘selective coding’. Aan de hand van een basiscode of
basiscategorie die het meest relevant is voor het onderzoek kan selectief gecodeerd worden,
8 Voor meer informatie over het structureren van codes, zie de CAQDAS functie “structureren van de codes”, §3.4.3.
24
waarna er door middel van een search-and-retrieve opdracht gezocht kan worden naar
segmenten die aan deze basiscode voldoen.9
De werkbeschrijving van één van de populairste CAQDAS programma’s, Atlas.ti (zie voor
de ‘full manual’ de website van Atlas.ti), gaat ook uit van een coderingsproces waarbij
begonnen wordt met ‘open coding’. De beschrijving noemt echter ook nog andere methoden
om te coderen. Zo is het in Atlas.ti mogelijk een deel van de letterlijke tekst aan te wijzen als
code. Dit heet ‘in vivo coding’. Ook is het mogelijk om een lijst met vooraf gedefinieerde
codes te gebruiken, waaruit een code gekozen kan worden tijdens het coderen van een
segment. Op deze manier wordt een zo consistent mogelijk coderingssysteem bereikt waarbij
het maken van typefouten zo goed als onmogelijk is. Tenslotte is het programma in staat
automatisch te coderen, zonder tussenkomst van de onderzoeker.
Seidel en Kelle (1995), Silverman (2000) en Richards en Richards (1995) geven allen de
voorkeur aan een indeling in ‘feitelijk’ en ‘referentieel’ coderen.
Bij feitelijke codering is er sprake van het toekennen van codes die feiten over segmenten
bevatten. Dit kunnen feiten zijn over de respondent, maar in elk geval zijn het altijd feiten uit
de tekst zelf. Hierbij is geen sprake van interpretatie door de onderzoeker. Door gebruik te
maken van feitelijke codering kan alle informatie over een respondent in één hiërarchische
boom opgenomen worden. 10 Deze methode van coderen wordt ook wel ‘samenvattend’
genoemd.
Een andere manier van coderen is volgens de genoemde auteurs het toekennen van
referenties. Referentiele codering betreft niet zo zeer een feit over de respondent, maar geeft
aan waar de respondent over spreekt, of waar een bepaald tekst segment over gaat. Deze
manier is dus onderhevig aan de interpretatie van de onderzoeker. Deze methode van
coderen wordt ook wel ‘indexeren’ of ‘heuristisch coderen’ genoemd (zie ook Silverman
2000). Referentiele codes worden met name gebruikt bij geheel open teksten, zoals open
vragen in een enquête. Een voorbeeld van een dergelijke vraag is de afsluitende vraag “Heeft
u nog vragen of opmerkingen?”. Een antwoord op deze vraag geeft veelal geen informatie
over de respondent zelf en kan om deze reden vaak alleen referentieel gecodeerd worden.
9 Voor meer informatie over de werking van het zoeken naar bepaalde codes, zie de CAQDAS functie “zoeken en verzamelen (‘search and retrieve’), §3.4.6.
25
3.4.3. Structureren van de codes
Het structureren van de codes in categorieën is ook een vorm van coderen. Dit is het door
Lonkila (1995) genoemde ‘axial coding’; Prein, Kelle en Bird (1995: p63) noemen dit
‘second-order coding’. De codes worden in categorieën ingedeeld om generaliserend
(‘generalization’) over de data na te kunnen denken en om dimensies (‘dimensionalization’)
aan de data te geven. In Kwalitan, een kwalitatief analyseprogramma dat onder andere
ontwikkeld is door Vincent Peters, hoogleraar aan de Universiteit van Tilburg, kunnen codes
op twee manieren geordend worden in een overzichtelijke structuur: in categorieën van
samenhangende codes en in hiërarchische boomstructuren. Deze beide structuren worden
hieronder nader toegelicht.
Categorieën
Categorieën zijn overkoepelende begrippen of thema’s waar meerdere codes onder vallen op
basis van hun betekenis (afhankelijk van de interpretatie van de onderzoeker) of hun inhoud
(letterlijke tekst). In Kwalitan kan iedere code onder slechts één categorie genoemd worden.
Zo kunnen de begrippen ‘man’ en ‘vrouw’ ingedeeld worden in de categorie ‘geslacht’, en
kan de leeftijd van een respondent in een leeftijdscategorie ingedeeld worden. Een indeling
in categorieën betekent een structuur van maximaal 1 niveau diep, een code in een categorie.
Een complexere indeling in meerdere niveaus kan bereikt worden door een boomstructuur
aan te maken.
Boomstructuur
Om nog meer zicht te krijgen op de codes die gaandeweg in een onderzoek ontwikkeld
worden kunnen de categorieën verder gestructureerd worden tot een hiërarchische
boomstructuur. In deze boomstructuur kunnen de codes worden geordend op een zodanige
wijze dat er verschillende niveaus van codes worden onderscheiden. Een centraal begrip kan
op die manier worden uiteengelegd in meerdere begrippen, die op hun beurt weer een groep
sub-begrippen overkoepelen etc. Door het aanmaken van een boomstructuur is het mogelijk
om een complex pad van codes te volgen, dat gebruikt kan worden voor het verzamelen van
alle segmenten die van die min of meer specifieke code(s) zijn voorzien.
Richards en Richards (1995) zijn er van overtuigd dat codes alleen zin hebben indien ze
georganiseerd worden in hiërarchische categorieën (een boomstructuur). Figuur 1 is een
voorbeeld van een dergelijke boomstructuur die is gemaakt aan de hand van mijn eigen
enquête. In de boomstructuur zijn een klein aantal feitelijke coderingen, die gebruikt zouden
10 Voor een voorbeeld van een feitelijke boomstructuur, zie figuur 1.
26
kunnen worden om de antwoorden die de respondenten hebben gegeven te coderen,
samengevoegd tot een schematisch overzicht.
Figuur 1. Feitelijke categorieën weergegeven in een hiërarchische boomstructuur. Onder de
onderste categorieën vallen alle links naar de betreffende tekstsegmenten of naar de
betreffende respondenten.
In een dergelijke boomstructuur definieert de ‘root node’ wat het onderwerp van de boom is,
in bovenstaande afbeelding is dat ‘respondenten’. Het gaat in deze boom dus om feitelijke
informatie over de respondenten. De laatste knoop (‘node’) krijgt betekenis door het volgen
van alle takken (ook wel links of connecties genoemd) naar die knoop toe.
Hiërarchische structurering van de codes en de segmenten is daarmee niet alleen een vorm
van organisatie, maar ook een analysetechniek. Daarbij moet wel in de gaten gehouden
worden dat het altijd om een taxonomische structuur gaat, waarbij de meest generieke
categorie het begin van de boom is, en waarbij de meest specifieke categorieën de onderste
knopen vormen. Wanneer een boom op deze manier opgezet wordt, wordt de relatie tussen
de knopen alleen door de lijnen beschreven, en hoeft dit niet woordelijk gedaan te worden
met termen als “is onderdeel van…” en “is gevolg van…”. Bovendien is het noodzakelijk
dat alle ‘children’ van een ‘parent node’ dezelfde relaties hebben ten opzichte van deze
‘parent node’.
3.4.4. Memo’s toevoegen en annoteren
Het coderen en structureren van de tekstsegmenten is vaak voor een groot deel gebaseerd op
de interpretatie van de onderzoeker en het onderwerp waarop het onderzoek zich richt. Het
vastleggen van deze interpretaties gebeurt onder andere door het toekennen van codes. Deze
labels op zich zijn vaak gebonden aan een maximale lengte (in Kwalitan 50 tekens) en het
zal moeilijk zijn om alle gedachten achter een bepaald geconstateerd fenomeen of achter een
interpretatie vast te leggen in één of meerdere korte labels per segment. Veel kwalitatieve
27
analyseprogramma’s zijn daarom voorzien van een hulpmiddel om de gedachten die achter
een code liggen op één of andere manier vast te leggen. Om tijdens het proces de juiste
keuzes te maken en om deze keuze achteraf te kunnen verantwoorden is het van belang
regelmatig en uitvoerig vast te leggen welke overwegingen een rol hebben gespeeld en hoe
de keuzes in diverse situaties zijn uitgevallen. Dit vastleggen van ideeën, theorieën en
betekenissen van codes gebeurt door het schrijven van zogenaamde memo’s.
Glaser (1978: p83-84) geeft een klassieke definitie van memo’s: “[A memo is] the theorizing
write-up of ideas about codes and their relationshop as they strike the analyst while coding
… it can be a sentence, a paragraph, or a few pages … it exhausts the analyst’s momentary
ideation based on data with perhaps a little conceptual elaboration.”
Babbie (2001) geeft de voorkeur aan een driedeling van het memosysteem. Allereerst noemt
hij ‘code memo’s’. Dit zijn memo’s die meer informatie geven over de betekenis van de
labels. Indien de labels bestaan uit afkortingen, kunnen in de code memo’s de volledige
labels opgenomen worden. Daarnaast noemt hij de theoretische memo’s. Deze bestaan uit
ideeën over concepten, relaties en theorieën die de onderzoeker tijdens het coderen
ontwikkeld. Tenslotte bestaan er ‘operationele memo’s’, waarin notities opgenomen worden
over de voor de analyse gebruikte methodologieën en strategieën.
In sommige programma’s is het mogelijk naast memo’s ook annotaties aan de
onderzoeksdata toe te voegen. Deze worden net als memo’s aan segmenten gekoppeld en
bevatten additionele informatie over het segment, zoals non-verbale observaties,
samenvatting van de inhoud etc.
3.4.5. Links en hypertekst toevoegen
Bij het coderen worden de tekstsegmenten als afzonderlijke tekstdelen behandeld. Om te
voorkomen dat de segmenten uit hun context gehaald worden en de tekst gefragmenteerd
raakt, kunnen links aangebracht worden. De segmenten blijven zo onderdeel van de gehele
context (Prein, Kelle, Richards & Richards 1995; Silverman 2000).
Veel CAQDAS programma’s zijn sterk in het aanbrengen van links tussen verschillende
onderdelen, zoals de tekst, codes, annotaties, memo’s en externe bestanden (zoals audio- en /
of videobestanden, afbeeldingen, etc.). Dit type links wordt ook wel ‘conceptuele links’
genoemd. Er bestaat dan een denkbeeldige link tussen twee of meer onderdelen. Deze links
worden voor de onderzoeker niet zichtbaar gemaakt door middel van een woord, knop of
28
icoon in de lopende tekst waarop geklikt kan worden; de links zijn enkel opgeslagen in het
achterliggende databasesysteem. De links kunnen bijvoorbeeld gebruikt worden wanneer een
lijst met alle gebruikte codes opgevraagd wordt, waarbij op de codes geklikt kan worden om
de bijbehorende memo te lezen.
De nieuwste programma’s zijn tevens in staat ‘operationele links’ in de tekstuele data aan te
maken, welke vaak worden aangegeven met een icoontje waarop geklikt kan worden. Door
op de link te klikken gaat de gebruiker direct naar het gekoppelde item, zoals een code, een
memo of een tekst segment. Hierdoor is er dus niet alleen in gedachten een link aangebracht
(conceptueel), maar is de link ook daadwerkelijk te volgen. Een operationele link is vaak een
‘harde link’. Dit betekent dat de onderzoeker zelf een begin- en eindpunt moet aangeven. De
link wordt dan geplaatst bij het beginpunt en indien de onderzoeker op de link klikt, gaat hij /
zij direct naar het eindpunt van de link, de bestemming. Dit zijn permanente links tussen
gerelateerde delen van de kwalitatieve database. Een andere manier is het aanmaken van een
dynamische, intelligente link. De onderzoeker kan tijdens het lezen van de tekst een deel van
de tekst (bijvoorbeeld een woord of een woordcombinatie) markeren (ook wel ‘highlighten’),
waarna het programma zelf op zoek gaat naar andere segmenten, waar dezelfde tekst
voorkomt. Op deze manier kan de onderzoeker heen en weer navigeren tussen
tekstsegmenten die inhoudelijk letterlijk aan elkaar gerelateerd zijn.
Indien het mogelijk is om heen en weer (dus in twee richtingen) te bewegen (of te
navigeren), dan spreekt men van hypertext-links, of kortweg hyperlinks.
3.4.6. Zoeken en verzamelen
Figuur 2. Een voorbeeld van een zoekopdracht naar gecodeerde tekstsegmenten. De
onderzoeker geeft de opdracht te zoeken naar alle segmenten in alle teksten die gecodeerd
zijn met het label ‘A’. Het segment met code A uit tekst 1 en het segment met code A uit tekst
2 worden samen gevoegd in een nieuw overzicht met zoekresultaten.
29
Het coderen van de tekst heeft voornamelijk tot doel dat alle segmenten die voorzien zijn
van dezelfde code eenvoudig en snel teruggevonden kunnen worden. Het zoekproces op de
kwalitatieve data kan vergeleken worden met het uitvoeren van zogenaamde ‘queries’
(zoekopdrachten) op kwantitatieve data. De gegevens dienen zowel bij het zoeken en
verzamelen van kwalitatieve data, als bij de ‘queries’ op kwantitatieve data te voldoen aan
de in de opdracht gestelde voorwaarden (zie figuur 2). Weitzman en Miles (1995) zijn van
mening dat niet alleen de snelheid waarmee dit zoeken gebeurt van belang is, maar ook de
manieren waarop gezocht kan worden. Zij noemen een aantal van de meest gebruikte
methoden:
- ‘Boolean’
Bij een Boolse zoekopdracht kan gezocht worden naar een combinatie van termen, door
gebruik te maken van “AND”, “OR” en / of “NOT”. Op deze manier kunnen hele
precieze zoekopdrachten geformuleerd worden. Een uitgebreide Boolse zoekopdracht
zoekt tevens naar geneste segmenten, overlappende segmenten, of “tenminste drie van
de volgende vijf termen”.
Voorbeeld van een Boolse zoekopdracht is: “Toon alle respondenten die (1) gebruik
maken van MS Office EN die (2) wel eens een computervirus op hun computer gehad
hebben”.
- ‘Relational’
Segmenten die door codes met elkaar verbonden zijn kunnen eenvoudig gevonden
worden wanneer er gezocht wordt naar de betreffende code of naar een (hiërarchisch)
pad van codes. Hierbij wordt de hiërarchische boomstructuur betrokken bij de
zoekopdracht.
- ‘Sequence’
Dit is het zoeken naar het voorkomen van combinaties van bepaalde woorden of codes,
in een bepaalde volgorde voor of na elkaar.
- ‘Proximity’
Het voorkomen van bepaalde woorden of codes, die binnen een opgegeven bereik samen
voorkomen kan ook gezocht worden.11 Een ‘proximity’ opdracht zou bijvoorbeeld
kunnen zijn: “toon alle respondenten bij wie de woorden (1) emailbericht EN (2)
geïnfecteerd voorkomen binnen een afstand van vijf woorden”.
- ‘Fuzzy logic’
11 Dit wordt ook wel ‘co-occurrence’ genoemd.
30
De ‘fuzzy logic’ zoekmethode maakt het mogelijk te zoeken naar termen of codes die
qua spelling gelijk zijn aan of lijken op de gegeven zoekopdracht.
- ‘Wildcard’
Veel programma’s bieden een ‘wildcard’ zoekmethode aan. Hierbij wordt een
zoekopdracht gegeven waarbij gebruik gemaakt kan worden van karakters als het
sterretje of een vraagteken, die ieder ander karakter kunnen vervangen, een zogenaamde
‘joker’. Zo kan door middel van de opdracht “program*” gezocht worden naar
“programma”, “programmeren”, “programmeertaal”, etc.
- ‘Synonyms’
Om te kunnen zoeken naar een opgegeven woord en naar alle synoniemen en verbogen
vormen van dat woord, moet het computerprogramma voorzien zijn van een
woordenboek en een thesaurus. Voorbeelden zijn “virussen – virii” en “software –
computerprogramma”
Extra functionaliteit wordt bereikt wanneer het mogelijk is om één van bovenstaande
zoekopties te gebruiken in combinatie met een opgave van het bereik waarbinnen gezocht
dient te worden (bijvoorbeeld alleen de vrouwelijke computergebruikers of alleen de
vrouwelijke computergebruikers die dagelijks gebruik maken van het Internet). Dit wordt in
de meeste programma’s gerealiseerd door één of meerdere zoekmethodes te combineren met
een Boolse opdracht.
3.4.7. Weergeven van de data
De resultaten van een ‘search and retrieve’ opdracht kunnen op meerdere manieren worden
weergegeven:
- Het gevonden segment wordt ‘highlighted’ weergegeven in de oorspronkelijke tekst.
- Het gevonden segment wordt (samen met andere gevonden segmenten) weergegeven in
een nieuw bestand, omgeven door de directe context.
- Het gevonden segment wordt (samen met andere gevonden segmenten) weergegeven in
een nieuw bestand, zonder context.
Bij de laatste twee opties moet het programma de mogelijkheid bieden door middel van een
hyperlink direct terug te springen naar hetzelfde segment in de oorspronkelijke tekst. De
meeste kwalitatieve analyseprogramma’s geven ook informatie over de plek waar het
segment gevonden is, bijvoorbeeld bij welke respondent het segment (of het antwoord)
hoort, waar de informatie gevonden is, de inhoud van het segment, etc. Hierbij is het van
belang dat de links tussen de verschillende onderdelen (tussen tekst en tekst, tussen codes en
31
tekst, etc.) “intelligent” zijn. Wanneer een code (laatste knoop in de boom) verplaatst wordt,
dient de link mee te verplaatsen; wanneer een code hernoemd wordt, dient dit op alle
plaatsen waar deze code voorkomt te gebeuren.
De nieuwste generatie CAQDAS programma’s slaat de gevonden resultaten op in een
databasesysteem (wanneer dit gebeurt binnen hetzelfde programma wordt dit ook wel
‘systeem closure’ genoemd), zodat de resultaten later nog eens opnieuw geanalyseerd
kunnen worden, of verwerkt kunnen worden door een statistisch programma.
Frequentieresultaten kunnen direct naar een statistisch programma doorgestuurd worden
voor verdere analyse. Overige gegevens kunnen gepresenteerd worden in de vorm van een
tabel, een grafiek, een grafisch netwerk (boomstructuur), een vector (zie figuur 3) of een
matrix (zie figuur 4).
Figuur 3. Een vector: alle codes van één bepaalde categorie worden gekoppeld aan een
enkele andere code om te onderzoeken hoe vaak de verschillende combinaties voorkomen.
De resultaten worden weergegeven in tabelvorm, waarbij de velden gevuld zijn met het
aantal computergebruikers van iedere groep (vraag 2 in de ‘CVO’ enquête, zie bijlage II)
dat wel eens een virus gemaakt heeft (vraag 48, zie bijlage II).
32
Figuur 4.Een matrix: alle codes van één bepaalde categorie, in dit geval ‘straf virusmakers’
worden gekoppeld aan alle codes van een andere categorie, in dit geval ‘virusinfectie’.
Hierbij wordt een matrix (tweedimensionale tabel) verkregen met daarin het aantal
respondenten dat al dan niet een infectie met een computervirus heeft meegemaakt (vraag 10
in de ‘CVO’ enquête, zie bijlage II) en de straf die zij passend vinden voor virusmakers
(vraag 51, zie bijlage II).
3.5. CAQDAS gradaties
Niet ieder kwalitatief analyseprogramma kent dezelfde functionaliteiten. Voor het uitvoeren
van een analyse op kwalitatieve gegevens kan de onderzoeker gebruik maken van zeer
eenvoudige programma’s met weinig CAQDAS functionaliteiten, zoals tekstverwerkers, tot
zeer complexe programma’s zoals zogenaamde ‘theory builders’. De programma’s kunnen
ingedeeld worden naar de mate waarin ze beschikken over de functionaliteiten die besproken
zijn in de vorige paragraaf.
Een simpele vorm van kwalitatieve analyse kan uitgevoerd worden met een tekstverwerker,
zoals het programma MS Word. Tekstverwerkers zijn geprogrammeerd voor de creatie en
revisie van teksten. De meeste programma’s van dit type zijn ook in staat enkele eenvoudige
‘content analysis’ taken uit te voeren zoals het zoeken van woorden en het tellen van het
aantal woorden, het aantal regels en het aantal pagina’s. De nieuwste versies van MS Word
bieden ook de mogelijkheid commentaar en revisiesuggesties aan de tekst te koppelen.
Daarnaast is het mogelijk om gebruik te maken van macro’s. Dit zijn kleine programma’s,
geschreven in de taal Visual Basic, die in staat zijn allerlei taken automatisch uit te voeren
op één of meerdere documenten. Door de tekst in de documenten te voorzien van codes, kan
een macro in alle gecodeerde documenten zoeken naar een bepaalde code. Alle gevonden
33
resultaten kunnen vervolgens in een nieuw bestand opgeslagen worden. Eventueel is het
mogelijk ook op dit nieuwe bestand een macro los te laten met bepaalde taken. Echter, tegen
deze methode zijn een aantal bezwaren aan te dragen. Wordprocessors nemen voor
specifieke CAQDAS-taken meer tijd in beslag dan de daarvoor speciaal ontworpen software.
Bovendien zijn in CAQDAS deze taken reeds voorgeprogrammeerd in de software, zodat de
onderzoeker niet zelf aan de slag hoeft met het schrijven van ingewikkelde macro’s.
Tenslotte is het met speciale CAQDAS software mogelijk de analyse uitgebreider uit te
voeren (zoals het automatisch aanmaken van matrices, etc.).
‘Text receivers’ zijn programma’s die gespecialiseerd zijn in het zoeken en sorteren van alle
voorkomens van een bepaald woord, een bepaalde zin of combinaties hiervan. Dit type
programma’s gaat hierbij een stapje verder dan de tekstverwerkers. Sommige ‘text receivers’
zijn in staat enkele ‘content analysis’ functies uit te voeren zoals het geven van een
woordfrequentielijst, het tonen van woorden in hun context en het maken van woordenlijsten
en concordantielijsten.12 In deze categorie hoort ook het eerder behandelde programma
Wordsmith thuis.
Een volgende categorie wordt gevormd door de ‘textbase managers’. Deze
managementsoftware is bedoeld om de gegevens op een gestructureerde wijze op te slaan.
De programma’s zijn in staat de data te organiseren en te sorteren en daarbij subsets van de
gegevens te creëren. De tekst wordt daarbij opgedeeld in velden of ‘records’ die in een
databasestructuur worden opgeslagen. Sommige programma’s zijn in staat memo’s of
externe bestanden aan de gegevens te koppelen. Dit type kan beschouwd worden als een
kwalitatief databasesysteem, waarbij het enkel om de gestructureerde opslag van de
kwalitatieve gegevens gaat, en waarbij geen analysetaken door het programma uitgevoerd
kunnen worden.
De laatste softwarecategorie die verreweg het meest gebruik maakt van CAQDAS
functionaliteiten en die hiervoor ook speciaal ontwikkeld is, is de groep van de ‘code-and-
retrieve’ programma’s. Deze zijn veelal door kwalitatieve onderzoekers zelf ontworpen en
zijn meestal gebaseerd op de Grounded Theory onderzoeksmethode van Glaser en Strauss
(1967). De programma’s zijn in staat de tekst te verdelen in segmenten. Aan deze segmenten
kunnen codes toegekend worden, waarna er gezocht kan worden op alle segmenten met een
bepaalde codering. Behalve het bijhouden van codes en memo’s kennen deze programma’s
ook ‘content analysis’ functies, en bieden ze meestal ook de mogelijkheid om hyperlinks aan
de tekst toe te voegen.
12 Voor meer informatie over ‘content analysis’ zie §3.3
34
3.6. Voordelen en nadelen van CAQDAS
Voordat bekeken kan worden of CAQDAS een oplossing biedt voor het analyseren van open
antwoorden verkregen uit enquêtes, dient eerst gekeken te worden of het gebruik van
CAQDAS functies überhaupt wenselijk en zinvol is. Hiertoe worden hieronder de voor- en
nadelen van dit soort software tegen elkaar afgezet.
Veel van de nadelen van CAQDAS die in de literatuur besproken worden hebben te maken
met een overwaardering van het coderingsproces. Doordat het importeren van de gegevens
en vervolgens het coderen van de segmenten een tijdrovende zaak zijn, zijn veel auteurs
bang dat de onderzoekers verleid worden tot “quick and dirty research with its attendant
danger of premature theoretical closure” (Fielding & Lee 1991: p8). Het risico bestaat dat
een onderzoeker zich volledig en uitsluitend op het coderen van de tekst gaat richten en
hierbij de originele data uit het oog verliest. Het risico bestaat ook dat een onderzoeker de
betekenis van het coderen overschat en hierbij alle andere manieren om tekst te analyseren
negeert. Dey (1995: p77) noemt tenslotte nog het gevaar “of drowning in complexity” als de
onderzoeker zich enkel en alleen stort op het coderen van de data en dit zo ver doorvoert dat
er oneindig veel codes en categorieën aangemaakt worden.
Volgens Lee en Fielding (1995) wordt de onderzoeker in de richting geduwd van een
uiteindelijk kwantitatief analysemodel, door het aanmaken van matrices en vectoren en door
het doen van ‘content analysis’.
Bij kwantitatief onderzoek was al lange tijd duidelijk dat het geen zin heeft tijd te besteden
aan het invoeren van de antwoorden die vijf respondenten op vijf verschillende vragen
hebben gegeven. Datzelfde kan ook voor kwalitatief onderzoek gezegd worden. CAQDAS is
dus alleen nuttig indien de onderzoeker beschikt over een groot corpus van gegevens, vaak
tekst. Een geschikt tekstueel corpus is bijvoorbeeld één hele lange tekst (bijvoorbeeld een
boek), of vele korte stukjes tekst (bijvoorbeeld de antwoorden op een open vraag).
Fielding en Lee (1995) konden echter tijdens hun systematische veldonderzoek naar
gebruikerservaringen met CAQDAS geen substantieel, empirisch bewijs vinden voor
bovengenoemde bezorgdheden van enkele andere onderzoekers.
De voordelen die in de literatuur genoemd worden en die ikzelf door het gebruik van enkele
CAQDAS programma’s heb ervaren, hebben te maken met snelheid, volledigheid,
consistentie en gemak. Door tijdrovende taken van de onderzoeker over te nemen, zoals het
zoeken en kopiëren van tekstsegmenten, kan het gebruik van de computer leiden tot een
35
grotere efficiëntie. Eenmaal gecodeerde gegevens zijn eenvoudig en snel terug te vinden
door uitgebreide search-and-retrieve faciliteiten.
CAQDAS stimuleert bovendien de consistentie bij het coderen van de data. Het
onderzoeksproces kan systematischer en consistenter uitgevoerd worden, waardoor het
gehele onderzoek grondiger uitgevoerd wordt. Dit draagt bij tot een grotere betrouwbaarheid
van de onderzoeksresultaten. Wanneer het analyseren door een onderzoeksteam wordt
gedaan kan het coderen van de data eenvoudig gedaan worden aan de hand van een
coderingsframe, waarin alle codes en hun betekenis van tevoren zijn vastgelegd.
CAQDAS kan de onderzoeker aansporen met de gegevens te spelen en relaties te ontdekken
tussen verschillende categorieën, die met een handmatige methode wellicht niet ontdekt
waren. De kwalitatieve analyse software stimuleert bovendien de combinatie van kwalitatief
onderzoek en kwantitatief onderzoek door het mogelijk te maken de kwalitatieve data
enigszins te kwantificeren: woorden en woordcombinaties kunnen geteld worden, codes
kunnen aan elkaar gekoppeld worden, aan de hand waarvan een numeriek patroon ontdekt
kan worden; er kunnen woord x woord, codes x codes, woord x segment en codes x segment
matrices gemaakt worden die geëxporteerd kunnen worden naar statistische programma’s als
SPSS of MS Excel.
Tenslotte wordt secundaire analyse van de gegevens gemakkelijker gemaakt door gebruik te
maken van CAQDAS, doordat onderzoekers eenvoudig en snel de, al dan niet gecodeerde,
gegevens aan elkaar kunnen doorsturen. Door een tweede, blinde codering uit te voeren, kan
de validiteit en betrouwbaarheid van de onderzoeksresultaten getest worden. Bovendien
maakt een elektronische versie van de data het makkelijker de gegevens te gebruiken voor
een tweede onderzoek dat zich op een ander aspect van de gegevens richt.
3.7. Conclusie
“Software will not pull good work out of a poor researcher” (Weitzman 2000: p817)
De meeste auteurs zijn het er over eens: “Software will never ‘do’ theory building for you,
but it can explicitly support your intellectual efforts, making it easier for you to think
coherently about the meaning of your data” (Weitzman & Miles 1995: p330).
In een bijdrage aan het handboek van Denzin en Lincoln komt Weitzman (zie Denzin &
Lincoln 2000: p806) hier zelf op terug: “This situation may change in the coming years.
There are some current efforts to use artificial intelligence approaches to get computers to
interpret text.”
36
In de kwalitatieve databasepakketten zijn nauwelijks natuurlijke taalfuncties
geïmplementeerd die het mogelijk maken dat de computer zelfstandig leert teksten te
analyseren. Dit is opvallend omdat er momenteel veel aandacht geschonken wordt aan
technieken voor ‘natural language processing’ (NLP) en spraakherkenning. Wanneer de
computer in staat zou zijn het coderingsproces geheel van de onderzoeker over te nemen en
daarbij in staat zou zijn de tekst te begrijpen, kan dit de onderzoeker veel werk en tijd
besparen. Wellicht is de complexiteit van integratie van de NLP functies niet de enige reden
waarom CAQDAS niet over dergelijke functies beschikt. Een programma die van deze
functies gebruik wil maken dient te beschikken over een volledig woordenboek in minstens
één taal (het programma kan dan ook alleen voor teksten in die taal gebruikt worden), en een
volledige thesaurus. Bovendien moet de complete grammatica van de gekozen taal ingevoerd
zijn, wil het programma in staat zijn de tekst ook daadwerkelijk te begrijpen. Hoewel dit op
zich opgebouwd zou kunnen worden uit reeds bestaande onderdelen die gebruikt zijn in
programma’s die wel gebruik maken van NLP, maakt een dergelijke implementatie de
CAQDAS wellicht te kostbaar voor een onderzoeker die sporadisch van deze software
gebruik maakt.
De meeste kwalitatieve onderzoekers zijn van mening dat CAQDAS de onderzoeker wel
degelijk kan helpen bij het ontwikkelen en formuleren van ideeën en conclusies over het
onderwerp. CAQDAS biedt deze mogelijkheid door de gegevens op codes te doorzoeken en
door het tonen van de zoekresultaten, het coderingsschema en een eventuele indeling in
categorieën en een boomstructuur. Het is belangrijk dat onderzoekers inzien dat de computer
een heel handige ‘tool’ kan zijn, maar dat ze zich in hun analyses niet moeten beperken tot
de mogelijkheden van de computer. Idealiter worden alleen díe CAQDAS functies gebruikt,
die bruikbaar zijn voor het eigen onderzoek.
Hoewel in de literatuur vaak geschreven wordt dat CAQDAS niet geschikt zou zijn voor
korte teksten, zoals open antwoorden in (online) enquêtes, kunnen de meeste functies naar
mijn mening wel degelijk gebruikt worden voor een grondige en betrouwbare analyse van
open antwoorden die verkregen worden door een enquête. Het volgende hoofdstuk richt zich
dan ook op de mogelijkheden om de CAQDAS functies te gebruiken bij de analyse van
zowel open als gesloten antwoorden. Dit in antwoord op de vraag in hoeverre het gebruik
van de verschillende CAQDAS-functies mogelijk, zinvol en wenselijk is bij de twee
antwoordtypen. Na deze bespreking wordt gekeken welke functies open antwoorden en
37
gesloten antwoorden nodig hebben voor een goede analyse, en in hoeverre bestaande
databasesystemen over deze functies beschikken.
38
4. Voldoen bestaande systemen?
4.1. Inleiding
In het vorige hoofdstuk is er ingegaan op de hulpmiddelen en de programma’s die speciaal
ontwikkeld zijn voor de uitvoering van kwalitatief onderzoek met behulp van de computer.
In dit hoofdstuk worden de genoemde functies van CAQDAS programma’s nog eens
opgesomd en wordt er gekeken welke functies bruikbaar zijn voor de verwerking van
antwoorden op zowel open als gesloten vragen in een online enquête. Daarna wordt gekeken
op welke manier de open en gesloten antwoorden het beste opgeslagen, verwerkt en
gepresenteerd kunnen worden door gebruik te maken van twee bestaande
computerprogramma’s: Kwalitan voor de analyse van kwalitatieve gegevens; MS Access
voor de analyse van kwantitatieve gegevens. Hierbij is onderzocht of het mogelijk is de
kwalitatieve en kwantitatieve gegevens samen in één programma op te nemen. Ook is
gekeken of een alternatief systeem, dat het beste van beide bestaande programma’s
combineert, nog meer voordelen oplevert.
4.2. Zijn CAQDAS functies bruikbaar bij de verwerking van beide vraagvormen?
4.2.1. Coderen
Coderen is een methode die uitermate geschikt is voor een uitgebreide ‘labeling’ van de
antwoorden die verzameld worden door het uitvoeren van een enquête. Gesloten antwoorden
zijn vaak geprecodeerd. Achter een set met tekstuele alternatieven schuilt dan bijvoorbeeld
een serie karakters (bijvoorbeeld ‘A’, ‘B’, ‘C’ en ‘D’) of codes. Wanneer de respondent een
antwoord heeft gegeven, kan dit karakter, dat eigenlijk gebruikt wordt als afkorting van het
werkelijk gegeven antwoord, gebruikt worden in een verwerking van de antwoorden. Indien
het gesloten antwoord een eenvoudig te tellen waarde bevat, bijvoorbeeld het antwoord op
een ja / nee vraag, of indien het antwoord numeriek is, hoeft het antwoord niet geprecodeerd
te zijn voor een directe verwerking van de gegevens. Gesloten antwoorden hoeven niet
naderhand handmatig (al dan niet door een computerprogramma ondersteund) gecodeerd te
worden en zijn niet onderhevig aan de interpretatie van de onderzoeker.
Open antwoorden die door het uitvoeren van een enquête verzameld zijn, zijn vaak korte
stukjes tekst waarvan de inhoud en soms zelfs het onderwerp van tevoren niet bekend is. Om
deze antwoorden enigszins te kunnen analyseren en te gebruiken in een algemene analyse
van alle enquête-antwoorden tezamen, is het nodig dat de open antwoorden in zekere mate
39
gekwantificeerd worden. Indien de Grounded Theory onderzoeksmethode van Glaser &
Strauss (1967) gevolgd wordt, kan voor deze kwantificering gebruik gemaakt worden van
het coderingsprincipe, waarvan de werking is uitgelegd in het vorige hoofdstuk. Dit
coderingsprincipe staat toe dat een tekst zo veel labels krijgt toegekend, dat alle informatie
die van belang kan zijn voor het onderzoek erin ligt opgeslagen. Op deze manier kan het
antwoord teruggebracht worden tot wat de onderzoeker beschouwt als de essentie van het
antwoord. Het coderen van open antwoorden is daarmee onderhevig aan de interpretatie van
de onderzoeker. Een belangrijk voordeel van het coderen van open antwoorden is dat een
meervoudig open antwoord, bijvoorbeeld in de vorm van “Ik vind dat … en … ”, ook
meervoudig gecodeerd kan worden. Des te opener het antwoord, des te belangrijker is het dat
het antwoord gecodeerd wordt. Immers een antwoord op een open vraag als “Wat is uw
leeftijd?” kan eenvoudig opgeslagen worden zonder dat het eerst gecodeerd wordt. Een
antwoord op een open vraag als “Heeft u nog vragen of opmerkingen?” kan van tevoren niet
ingeschat worden en behoeft voor verdere verzameling en (statistische) analyse een
volledige en consistente codering. Ditzelfde geldt uiteraard ook voor opties bij gesloten
vragen als “Anders, namelijk…”. Zoals in hoofdstuk twee reeds uitgelegd is, levert een
dergelijke optie bij een gesloten vraag in feite een open antwoord op.
4.2.2. Structureren
Het structureren van codes in categorieën is vooral zinvol als er veel verschillende codes
gebruikt zijn en als meerdere codes qua betekenis samenhangen. Het kan zinvol zijn zowel
de codes die gebruikt zijn om de open antwoorden te coderen, als de codes die gebruikt zijn
bij de geprecodeerde antwoorden in te delen in categorieën. Vooral de codes die gebruikt
zijn voor de antwoorden op open vragen die heel open gesteld zijn dienen gestructureerd te
worden om de verschillende onderwerpen die door de respondenten zijn aangesneden van
elkaar te kunnen onderscheiden. Wederom kan de vraag “Heeft u nog vragen of
opmerkingen” hier als voorbeeld dienen. Deze vraag kan antwoorden in vele verschillende
richtingen opleveren. De antwoorden kunnen gecodeerd worden op inhoud, waarna de codes
gestructureerd kunnen worden naar onderwerp. In veel gevallen zal het echter voldoende zijn
de codes te categoriseren per vraag. Zo bevat bijvoorbeeld de categorie ‘vraag 4’ alle voor
vraag 4 gebruikte codes.
4.2.3. Annoteren
Bij ieder onderzoek is het van groot belang dat de onderzoeker tussentijds de mogelijkheid
heeft om aantekeningen te maken van gemaakte keuzes, achterliggende ideeën en theorieën
40
en de betekenis van de verschillende codes. Dit geldt ook voor de verwerking van de open en
gesloten antwoorden. Met name de interpretatie op basis waarvan een open antwoord
gecodeerd wordt, kan goed in een memo bewaard worden. De keuzes die de onderzoeker bij
deze interpretatie en de uiteindelijke codering maakt, en de aspecten waarop hij / zij zich
daarbij richt, dienen goed vastgelegd te worden. Memo’s kunnen ook gebruikt worden om
tijdens het coderen van de antwoorden alvast interessante koppelingen tussen twee of meer
vragen te noteren. Bij gesloten antwoorden is het verstandig ook de tekstuele set van
alternatieven in de vorm van een memo op te slaan in de database, zodat de betekenis van de
codes na verloop van tijd niet voor onduidelijkheden kan zorgen.
4.2.4. Hyperlinks toevoegen
Wanneer een onderzoeker gebruik wil maken van codes, categorieën en memo’s, is het
handig als de verschillende onderdelen en de antwoorden aan elkaar gelinkt kunnen worden.
De computer biedt twee systemen waarin het mogelijk is deze links aan te brengen. Het
eerste systeem is een relationele database, zoals het programma MS Access waarin velden
van meerdere tabellen aan elkaar gekoppeld kunnen worden. Een andere mogelijkheid maakt
gebruik van het World Wide Web, dat gebaseerd is op het linken van bestanden en ook
uitstekend gebruikt kan worden voor het linken tussen teksten, memo’s en codes. Het
aanbrengen van operationele hyperlinks zorgt er voor dat de onderzoeker eenvoudig door de
verschillende onderdelen kan navigeren.
4.2.5. Zoeken en verzamelen
Het coderen en structureren van de antwoorden heeft alleen zin als de codes en de
categorieën vervolgens gebruikt kunnen worden in zoekopdrachten. Op deze manier kunnen
alle respondenten die met dezelfde labels gecodeerd zijn en dus een antwoord van dezelfde
strekking hebben gegeven eenvoudig gezocht en verzameld worden. De onderzoeker hoeft,
door op de codes en de categorieën te zoeken, niet voor iedere zoekopdracht alle
afzonderlijke, volledige open antwoorden opnieuw door te nemen. Het coderen heeft de open
antwoorden dus enigszins gekwantificeerd zodat de open en de gesloten antwoorden nu
samen gebruikt kunnen worden in een ‘query’.
4.2.6. Weergeven van de data
Zonder een presentatie van de analyseresultaten heeft het uitvoeren van een onderzoek
weinig nut. De gegeven antwoorden kunnen op meerdere manieren gepresenteerd worden.
Eén manier is het tonen van een overzicht van alle volledige antwoorden. Dit is echter een
41
weinig overzichtelijke manier, die het trekken van conclusies niet vergemakkelijkt. Een
andere manier is het presenteren van de resultaten van een gerichte zoekopdracht. Een
zoekopdracht kan één of meerdere numerieke waarden of percentages opleveren, of een lijst
met alle respondenten die aan de opgegeven zoekvoorwaarde(n) voldoen. De numerieke
waarden of percentages kunnen getoond worden in een tabel, een grafiek, een matrix of een
vector. Indien een open vraag gebruikt is in de zoekopdracht, is het ook mogelijk de open
antwoorden van respondenten die voldoen aan de zoekvoorwaarde(n) te tonen.
4.2.7. ‘Content analysis’
‘Content analysis’ wordt in de literatuur meestal niet genoemd als één van de CAQDAS
functies, maar kan naar mijn mening wel degelijk als een CAQDAS functie beschouwd
worden. Het is immers een methode om met behulp van de computer kwalitatieve data te
analyseren. Het hangt van het doel van het onderzoek af in hoeverre ‘content analysis’
interessant is om toe te passen op de verzamelde kwalitatieve data. Vaak zijn de open
antwoorden in online enquêtes korte stukjes tekst, waarbij het coderen en structureren, en het
zoeken en verzamelen voldoen voor een analyse van de antwoorden. In sommige gevallen
kan ‘content analysis’ echter wel interessant zijn. Bij lange open antwoorden (denk hierbij
aan essayvragen), of wanneer het onderzoek gericht is op het woordgebruik van de
respondenten, kan een ‘content analysis’ naar de gebruikte woorden en frequentie waarmee
deze woorden gebruikt worden interessante resultaten opleveren.
‘Content analysis’ is niet interessant om te gebruiken bij gesloten antwoorden. Immers de
tekst van deze antwoorden bestaat uit woorden van de onderzoeker zelf.
4.2.8. Vergelijking
De bruikbaarheid van de verschillende CAQDAS functies in combinatie met open en
gesloten antwoorden is hierboven uitvoerig behandeld. In tabel 5 zijn de functies nogmaals
opgesomd, waarbij is aangegeven welke functies voor open antwoorden en welke functies
voor gesloten antwoorden zinvol en wenselijk zijn.
42
CAQDAS functie Open antwoorden Gesloten antwoorden
Coderen
Structureren van de codes Zoeken en verzamelen Memo’s en annotaties toevoegen Hyperlinks toevoegen Weergeven van de resultaten Content analyse
Tabel 5. CAQDAS functies die bruikbaar zijn voor open en gesloten antwoorden.
4.3. Bestaat er een databasesysteem dat beide vraagvormen kan verwerken?
Er bestaan voldoende programma’s die in staat zijn te werken met ofwel kwantitatieve ofwel
kwalitatieve gegevens. Dit hoofdstuk onderzoekt in hoeverre bestaande programma’s
gebruikt kunnen worden om zowel kwantitatieve als kwalitatieve gegevens op te slaan, te
analyseren en te presenteren. Daartoe is uit de categorie ‘kwantitatieve databases’ één
programma gekozen en getest op de mogelijkheden om zowel kwantitatieve gegevens als
kwalitatieve gegevens te verwerken, namelijk MS Access. Ook uit de categorie ‘kwalitatieve
analyse programma’s’ is één programma getest op de mogelijkheden om beide typen
gegevens te verwerken, namelijk Kwalitan.
Kunnen alle gegevens in één van deze twee programma’s opgeslagen, verwerkt en
gepresenteerd worden?
4.3.1. Kunnen alle gegevens verwerkt worden in een kwalitatieve database?
Kwalitan is een computerprogramma dat ontwikkeld is ter ondersteuning van de uitvoering
van een analyse van kwalitatieve data. In hoofdstuk drie is een opsomming gegeven van de
verschillende CAQDAS gradaties: Kwalitan behoort tot de categorie ‘code-and-retrieve’
programma’s.
Voordat met Kwalitan gewerkt kan worden moet de data op import in het programma
voorbereid worden. Het programma kan alleen tekstbestanden importeren, waarbij alle
opmaak van de tekst verloren gaat. De open antwoorden kunnen in hun oorspronkelijke,
43
onbewerkte vorm onder elkaar in een tekstbestand opgeslagen worden. Het te importeren
tekstbestand met de gesloten antwoorden kan op vier manieren opgesteld zijn:
1. Het tekstbestand bestaat uit de set met mogelijke antwoorden, die voor ieder gegeven
antwoord herhaald wordt en welke gecodeerd is met het gegeven antwoord.
2. Het tekstbestand bestaat uit de tekstuele gekozen antwoorden, welke gecodeerd zijn met
de bijbehorende code / afkorting.
3. Het tekstbestand bestaat uit de tekstueel gekozen antwoorden, zonder codering.
4. Het tekstbestand bestaat uit de tekstueel gekozen antwoorden, waarbij de antwoorden uit
slechts één woord bestaan (bijvoorbeeld “regelmatig”, “soms” of “nooit”), of enkel uit
de afgekorte versie van het antwoord (een karakter, code of getal).
Deze vier mogelijkheden zijn in figuur 5 weergegeven.
@ Ik gebruik de pc soms
Ik gebruik de pc vaak
Ik gebruik de pc soms
Ik gebruik de pc nooit
@ B
Ik gebruik de pc soms
Ik gebruik de pc soms Soms
Figuur 5. De vier mogelijkheden om gesloten antwoorden in een tekstbestand op te slaan dat
geïmporteerd kan worden in Kwalitan. In Kwalitan wordt het ‘@’ gebruikt om een code aan
te geven.
Na import van tenminste één tekstbestand met antwoorden biedt Kwalitan de volgende
CAQDAS functionaliteiten:
- coderen van de tekst
- structureren van de codes in categorieën en boomstructuren
- zoekopdrachten waarbij filters (voorwaarden) gedefinieerd kunnen worden
- memo’s en annotaties toevoegen
- hyperlinks toevoegen
- weergeven van de resultaten in de vorm van lijsten, tabellen en matrices; bovendien
kunnen de resultaten zo opgemaakt worden dat ze geëxporteerd kunnen worden naar het
statistische programma SPSS voor verdere analyse
- ‘content analysis’ uitvoeren dat een woordfrequentielijst oplevert
In de vorige paragraaf is bestudeerd in hoeverre deze functies bruikbaar zijn voor open en
gesloten antwoorden. Daar kwam uit dat alle bovenstaande functies toepasbaar zijn op open
44
antwoorden. Voor de gesloten antwoorden is daar geconcludeerd dat de functies coderen en
‘content analysis’ niet van toepassing zijn. Echter, wanneer de gesloten antwoorden
geïmporteerd worden in een tekstbestand van het derde of het vierde type, kunnen de
antwoorden alsnog wel voorzien worden van codes. Op een tekstbestand van type vier is het
tevens zinvol om een ‘content analysis’ uit te voeren. Deze analysefunctie telt namelijk het
aantal keren dat ieder woord voorkomt. Als ieder woord een antwoord representeert is het
met ‘content analysis’ mogelijk te tellen hoe vaak ieder antwoord gegeven is.
Kwalitan is onderzocht op een aantal belangrijke functionaliteiten zoals snelheid,
duidelijkheid en consistentie in gebruik, gebruik van een database, gebruik van CAQDAS
functionaliteiten, mogelijkheid om het programma te koppelen aan een online enquête en de
bruikbaarheid voor een onervaren onderzoeker. Tabel 6 geeft kort de belangrijkste plus- en
minpunten van Kwalitan weer.
Pluspunten van Kwalitan Minpunten van Kwalitan
- consistent coderen mogelijk gemaakt
door aanmaak van coderingsschema,
waaruit reeds aangemaakte codes
gekozen kunnen worden voor
hergebruik
- autocoding mogelijk
- ‘content analysis’ functies
- voorzien van een stap voor stap
interface en begeleiding
- codes kunnen ingedeeld worden in een
grafische boomstructuur
- onderzoeker hoeft niet zelf een
gegevensstructuur te bedenken
- gegevens worden op eigen schijfruimte
opgeslagen
- handmatige import van tekstbestanden
- geen weergave van de geïmporteerde
antwoorden in tabellen of grafieken
mogelijk
- resultaten van zoekopdrachten alleen
weergegeven in lijsten
- geen statistische methoden aanwezig
- geen ‘realtime’ analyse of directe
koppeling met een website mogelijk
- querymogelijkheden gaan niet verder
dan zoek- en verzamelopdrachten
waarbij alleen bepaalde codes
opgegeven kunnen worden als
zoekvoorwaarde
- platformafhankelijk: programma werkt
alleen onder MS Windows
Tabel 6. Plus- en minpunten van de opslag, verwerking en presentatie van de open en
gesloten antwoorden in Kwalitan.
45
Het programma Kwalitan is duidelijk geschikt voor de verwerking van open antwoorden. De
CAQDAS functionaliteiten zijn in dit programma goed geïmplementeerd en de onderzoeker
wordt in het verwerken van de gegevens stap voor stap begeleid en ondersteund. Echter, het
programma is niet sterk in een gestructureerde opslag van de gegevens, het uitvoeren van
zoekopdrachten en de weergave van de zoekresultaten. Wellicht dat een programma als MS
Access op dit vlak meer mogelijkheden kan bieden?!
4.3.2. Kunnen alle gegevens verwerkt worden in een kwantitatieve database?
MS Access is het programma dat ik bij de verwerking van mijn eigen enquête heb gebruikt.
Met het programma kan een relationele database gemaakt worden waarin grote
hoeveelheden gegevens in één of meerdere tabellen gestructureerd kunnen worden.
Vervolgens kunnen deze gegevens gebruikt worden in uitgebreide ‘queries’ en voor een
statistische verwerking. Het programma is daarmee uitermate geschikt voor een snelle
verwerking van de gesloten antwoorden. MS Access kan verschillende datatypen opnemen
in de velden van een tabel, zoals tekst, numeriek, datum en tijd, valuta, autonummering, ja /
nee en hyperlink. Gesloten antwoorden zijn vaak korte antwoorden of afgekorte antwoorden,
zoals een karakter, een code of een getal. Deze antwoorden worden daarom meestal
opgenomen in een tekstveld van het type ‘char’ of een numeriek veld van het type ‘int’.
Open antwoorden dienen vanzelfsprekend opgenomen te worden in een tekstueel veld. Een
tekstueel veld van het type ‘char’ kan slechts 255 karakters (‘characters’) bevatten; een
tekstueel veld van het type ‘memo’ kan 64.000 karakters bevatten. Open antwoorden dienen
dus in een memoveld bewaard te worden. Een andere mogelijkheid is het opslaan van het
open antwoord in een tekstbestand. In de tabel kan vervolgens in een veld van het type
‘hyperlink’ een link aangemaakt worden naar dit tekstbestand. Het antwoord wordt in dit
geval dus niet rechtstreeks opgeslagen in de database. De aangemaakte link is operationeel,
wat betekent dat als de onderzoeker erop klikt, het tekstbestand geopend wordt. Nadeel van
deze methode is dat voor ieder antwoord een apart tekstbestand aangemaakt dient te worden
en dat het antwoord in het tekstbestand niet inhoudelijk doorzocht kan worden, of gebruikt
kan worden in een ‘query’.
Wanneer de gegevens eenmaal geïmporteerd zijn in de database, kunnen de gesloten
antwoorden direct gebruikt worden voor statistische toepassingen en ‘queries’. De open
antwoorden moeten wederom eerst gecodeerd worden. Omdat van tevoren niet bekend is
hoeveel codes nodig zijn om een antwoord te coderen, is het niet verstandig de codes in
dezelfde tabel als de antwoorden op te nemen, want dan moet voor iedere code die aan een
46
antwoord gekoppeld wordt een nieuwe kolom aan de tabel toegevoegd worden. Een betere
methode is het aanmaken van een extra tabel waarin alle codes opgeslagen worden en
voorzien worden van een ‘codenummer’. Een derde tabel kan dan vervolgens als koppeltabel
dienen tussen het antwoord en de codes die aan dat antwoord toegekend zijn. Zie voor een
voorbeeld figuur 6.
# Antwoord # Code Antw. Code
1
2
3
Antwoord1
Antwoord2
Antwoord3
1
2
3
Code1
Code2
Code3
1
1
2
1
3
3
Figuur 6. Overzicht van drie tabellen die aangemaakt moeten worden om een code aan een
antwoord toe te kunnen kennen
.
Het voordeel van een relationele database is dat de gegevens in de derde tabel ook
daadwerkelijk gekoppeld kunnen worden aan de gegevens in de eerste en de tweede tabel,
zoals afgebeeld in figuur 7.
Figuur 7. De tabel met de antwoorden en de tabel met de codes zijn aan elkaar gekoppeld
via een derde tabel met de antwoord - code combinaties.
MS Access is op dezelfde functionaliteiten onderzocht als Kwalitan: snelheid, duidelijkheid
en consistentie in gebruik, gebruik van een database, gebruik van CAQDAS
functionaliteiten, mogelijkheid om het programma te koppelen aan een online enquête en de
bruikbaarheid voor een onervaren onderzoeker. Tabel 7 geeft kort een aantal belangrijke
plus- en minpunten van MS Access weer.
47
Pluspunten van MS Access Minpunten van MS Access
- uitgebreide querymogelijkheden door
koppelingen tussen tabellen en de
mogelijkheid om zowel codes als
letterlijke antwoorden te gebruiken als
zoekvoorwaarde
- weergave van antwoorden en
queryresultaten in tabellen en grafieken
mogelijk
- statistische methoden aanwezig
- overzichtelijke gegevensstructuur
doordat alle gegevens in afzonderlijke
records en velden kunnen worden
opgeslagen; tevens mogelijkheid om
meerdere tabellen aan te maken
- gegevens worden op eigen schijfruimte
opgeslagen
- gegevensstructuur moet door
onderzoeker zelf aangemaakt worden
- codes kunnen niet in een grafische
boomstructuur getoond worden
- handmatige import van tekstbestanden
- geen ‘content analysis’ functies
aanwezig
- autocoding alleen mogelijk door zelf een
uitgebreid SQL statement te maken:
hiervoor is kennis van SQL nodig
- geen stap voor stap analysetraject
- weinig consistente codering doordat drie
tabellen nodig zijn voor het koppelen
van een antwoord en een code
- geen ‘realtime’ analyse of directe
koppeling met een website mogelijk
- het is niet mogelijk gekoppelde
tekstbestanden te doorzoeken
- gebonden aan het MS Windows
besturingssysteem
Tabel 7. Plus- en minpunten van de opslag, verwerking en presentatie van de open en
gesloten antwoorden in MS Access.
MS Access kent een aantal sterke pluspunten, maar ook meerdere minpunten. MS Access
kan heel goed gebruikt worden voor de opslag van de gegevens, het uitvoeren van
zoekopdrachten en het presenteren van de resultaten. Echter, het programma is niet
eenvoudig in gebruik en vereist veel interactie met de onderzoeker. Hij / zij moet zelf een
gegevensstructuur opstellen en wordt niet ondersteund bij het analyseren van de open
antwoorden. Is het mogelijk een systeem te ontwerpen, die het beste van Kwalitan
combineert met het beste van MS Access?
48
4.4. Een alternatieve methode
Aan de hand van de bestudering van de mogelijkheden die Kwalitan en MS Access bieden is
het mogelijk een wensenpakket op te stellen waaraan een alternatief systeem zou moeten
voldoen:
- stap voor stap ondersteuning bij de codering en structurering van de open antwoorden;
hulp bij consistente codering en tonen van een grafische boomstructuur
- uitgebreide CAQDAS en ‘content analysis’ functionaliteiten
- uitgebreide querymogelijkheden en statistische methoden
- directe koppeling met een website zodat handmatige import en opzet van een eigen
gegevensstructuur niet nodig is en het systeem platform- en programma-onafhankelijk is
- ‘realtime’ weergave van de resultaten in tabellen en grafieken
Eén van de grootste nadelen van beide bestaande programma’s is dat ze niet direct
gekoppeld kunnen worden aan een online enquête. Dit betekent dat het niet mogelijk is de
antwoorden die een respondent geeft direct gestructureerd en overzichtelijk op te slaan in
een database die de onderzoeker niet zelf hoeft op te zetten. De gegevens zijn dan ook niet
beschikbaar voor een ‘realtime’ verwerking. Dit betekent dat de gegevens niet direct na
ontvangst gebruikt kunnen worden voor een tussentijdse analyse.
Een methode waarbij dit allemaal wel mogelijk is, is de koppeling van de online enquête met
een MySql database. Deze database is vergelijkbaar met een MS Access database. Alle
voordelen van een verwerking van de antwoorden in MS Access gelden ook voor een
verwerking van de antwoorden in MySql. Echter, ook in een MySql ontbreken de CAQDAS
functies die nodig zijn voor een analyse van de open antwoorden. Dit gebrek kan worden
opgevangen door de website die aan de database gekoppeld is. De website biedt de
onderzoeker een interface waarmee hij / zij een analyse op de gegevens kan uitvoeren zonder
daarbij kennis te hoeven hebben van specifieke software of programmeertalen zoals SQL.
Zonder dat de onderzoeker het door hoeft te hebben, worden de gegevens in de database
opgeslagen en kunnen de gegevens ook weer uit de database gelezen worden. Dit maakt het
mogelijk uitgebreide zoekopdrachten op te stellen waarbij ook de open antwoorden gebruikt
kunnen worden, die vervolgens door het systeem omgezet worden in SQL ‘queries’.
Op deze manier ontstaat één systeem dat zowel mogelijkheden biedt voor een
gestructureerde opslag van de verzamelde antwoorden, het uitvoeren van uitgebreide
zoekopdrachten, statistische methoden, en de belangrijkste CAQDAS functies. Bovendien
49
hoeft de onderzoeker niet zelf een geschikte databasestructuur te bedenken en op te zetten,
en hoeft hij / zij niet zelf de gegevens te importeren en te structureren. De website en de
achterliggende database zorgen voor een stap voor stap analyseproces met voldoende
begeleiding. De verschillende plus- en minpunten van dit alternatieve systeem zijn
opgesomd in tabel 8.
Pluspunten van de alternatieve methode Minpunten van de alternatieve methode
- alle pluspunten van Kwalitan
- alle pluspunten van MS Access
- systeem is platformonafhankelijk en de
onderzoeker hoeft zelf niet te
beschikken over speciale software
- geen import van gegevens nodig, deze
worden automatisch vanaf de website in
de database weggeschreven
- exportmogelijkheden voor MS Access,
MS Excel en SPSS
- gegevens zijn niet direct opgeslagen op
eigen computer
Tabel 8. Plus- en minpunten van de opslag, verwerking en presentatie van de open en
gesloten antwoorden in een alternatief systeem dat gebaseerd is op een website met een
daaraan gekoppelde MySql database.
4.5. Conclusie
In dit hoofdstuk is gekeken op welke manieren open en gesloten antwoorden in één systeem
opgeslagen, verwerkt en gepresenteerd kunnen worden. Hoewel Kwalitan en MS Access
voldoende mogelijkheden bieden om beide antwoordtypen te verwerken, zijn beide systemen
niet ideaal om te gebruiken wanneer een onderzoeker snel en eenvoudig een online enquête
wil uitvoeren. Vervolgens is gekeken op welke manier het beste van beide programma’s
gecombineerd kan worden in een alternatief systeem dat gebaseerd is op een website die een
duidelijk en eenvoudig te gebruiken interface biedt. Aan de website kan een MySql database
gekoppeld worden, die het mogelijk maakt de gegevens gestructureerd op te slaan en
‘realtime’ te verwerken. Dit levert een totaalpakket op waarin een enquête aangemaakt,
uitgevoerd en verwerkt kan worden. In het volgende hoofdstuk wordt in dit hoofdstuk
voorgestelde alternatieve systeem verder uitgewerkt en geïmplementeerd.
50
5. Ontwerp en implementatie van een alternatief
5.1. Inleiding
In hoofdstuk vier kwam een alternatieve methode, die gebruik maakt van een website en een
MySql database voor het uitvoeren van een online enquête, als beste uit de bus. Om deze
methode zo optimaal mogelijk uit te werken tot een goed werkend systeem, zijn eerst nog
een aantal bestaande online enquêtesystemen onderzocht op de mogelijkheden die zij
aanbieden en vooral ook op de aanwezige CAQDAS functies. De mogelijkheden blijken zeer
beperkt en CAQDAS functies ontbreken veelal.
Het enquêtesysteem dat in dit hoofdstuk voorgesteld wordt, is gebaseerd op de theorie
omtrent de mogelijkheden om open en gesloten antwoorden te gebruiken en te verwerken, en
op de bevindingen van het praktische, vergelijkende onderzoek van bestaande online
enquêtesystemen.
De in de algemene inleiding genoemde CVO enquête is als testenquête gebruikt. Door
middel van deze enquête heb ik onderzocht hoe verschillende gebruikersgroepen
maatregelen treffen tegen, en omgaan met computervirussen. De resultaten van deze CVO
enquête zijn gebruikt als invoer voor de testenquête en berusten dus op de werkelijkheid.13
De oorspronkelijke enquête bestond uit 58 vragen en is gehouden onder 135 respondenten,
zowel op papier als via Internet.14
5.2. Vergelijkend onderzoek
Voor het vergelijkende onderzoek naar de mogelijkheden die bestaande online
enquêtesystemen bieden zijn enkele toonaangevende systemen bestudeerd en getest: Enquête
Via Internet, Survey World, Online Enquête, eXamine, eQuest, Zoomerang, Quask,
Studentenenquete en Websurveyor. De vergelijkingen zijn opgezet aan de hand van de drie
taken die onderscheiden kunnen worden bij het houden van een enquête:
1. Het aanmaken van een enquête en het invoeren van de vragen.
2. Het publiceren en uitvoeren van de enquête.
3. Het verwerken van de verzamelde gegevens en het presenteren van de resultaten.
13 Zie voor de ‘CVO’ enquête bijlage II. 14 De op Internet ingevulde enquête werd door gebruik te maken van een kant-en-klaar ‘sendmail’ programma in Perl via e-mail naar mij opgestuurd; de gegevens moesten handmatig in de MS Access database ingevoerd worden.
51
Bij wijze van illustratie zijn de bevindingen die gedaan zijn bij twee van deze systemen,
“Enquête Via Internet” en “Survey World” hier kort samengevat.15
5.2.1. Enquête Via Internet
+ Eén onderzoeker kan meerdere enquêtes beheren. + Gegevens over enquête en beheerder kunnen gewijzigd worden. + Logboek houdt de belangrijkste ontwikkelingen bij, zoals het aanmaken van
een nieuwe enquête, toevoeging van nieuwe vragen en aangebrachte wijzigingen.
+ Keuze uit vijf vraagtypen.16 + Achtergrondkleur van de enquête kan aangepast worden; afbeelding kunnen
‘geupload’ worden. - Het is niet mogelijk ‘skips’ (vervolgvragen) te definiëren.
+ Duidelijke instructies voor versturen van uitnodigingen en inpassen van
enquête in eigen website. + Check op uiterlijke publicatiedatum.
+ Resultaten zijn realtime te volgen in een overzicht van alle gegeven
antwoorden, waarbij ook percentages berekend worden. + Export mogelijk naar XML, Access, Excel en Word. - Exportbestanden moeten via e-mail aangevraagd worden. - Het is niet mogelijk koppelingen tussen tabellen te definiëren of ‘queries’ uit te
voeren. - De verwerking van open antwoorden is niet bekend.
1
2
3
5.2.2. Survey World
+ Keuze uit meerdere talen. + Lay-out kan volledig aan huisstijl aangepast worden. + Keuze uit tien vraagtypen.17 - Het is niet mogelijk ‘skips’ (vervolgvragen) te definiëren. - Het is niet mogelijk externe bestanden (afbeeldingen) te ‘uploaden’ en toe te
voegen aan de vragen.
1
15 Zie http://www.enqueteviainternet.com en http://www.surveyworld.com. 16 Onder andere: open vragen, gesloten vragen met één of meerdere keuzes en een likertschaal. 17 Onder andere: ja / nee vraag, open vraag waarbij de respondent kan antwoorden in één regel of in meerdere regels, gesloten vraag met één of meerdere keuzes, en een matrixvraag. De overige vraagtypen zijn combinaties van de genoemde typen of typen die bedoeld zijn voor zeer specifieke marktonderzoeken.
52
+ Duidelijke instructies voor versturen van uitnodigingen en invoegen van
enquête in eigen website. + Deelnemers kunnen uit een bestaand adresboek geïmporteerd worden en
uitgenodigd worden via e-mail. + Er wordt bijgehouden wie gereageerd heeft en wie niet (en waarom niet) en er
kan een tweede e-mailbericht ter herinnering gestuurd worden. + Wanneer de uitnodiging verstuurd is kan de enquête niet meer gewijzigd
worden.
+ Resultaten zijn realtime te volgen in meerkleurige, 3D grafieken die voorzien
zijn van een duidelijke legenda. + Er kunnen koppelingen (kruisverbanden) gemaakt worden tussen meerdere
vragen. + Export van de resultaten is mogelijk naar Office software en SPSS. - De verwerking van open antwoorden is niet bekend.
2
3
Wat duidelijk ontbreekt in deze twee systemen, en ook in de andere bestudeerde systemen, is
de verwerking van de verzamelde antwoorden op de open vragen. Uit correspondentie met
verschillende ICT bedrijven die in online enquêtes gespecialiseerd zijn en met universiteiten
die een systeem hebben voor het uitvoeren van tentamens via het WWW, is duidelijk
geworden dat de open vragen bij deze organisaties handmatig verwerkt worden. Dit betekent
dat de gegeven antwoorden verzameld, geprint en handmatig gestructureerd worden, waarna
ze gelezen en geïnterpreteerd worden. De vragen worden op deze manier afzonderlijk van de
overige gestelde vragen behandeld, en worden door de genoemde bedrijven niet gekoppeld
aan andere gegeven antwoorden. De universiteiten geven aan de hand van de interpretatie
van het antwoord een waardering voor het antwoord, welke uiteindelijk wel gekoppeld wordt
aan de overige antwoorden om zo een totaal cijfer voor het tentamen te kunnen geven. Op
basis van de opgedane kennis van de verschillende CAQDAS functionaliteiten lijkt het mij
noodzakelijk enkele van deze functies te implementeren zodat het systeem ook wat betreft de
verwerking van de antwoorden op de open vragen de onderzoeker kan ondersteunen.
Aan de hand van deze bevindingen, de resultaten van de vergelijkingen en de kennis die
opgedaan is omtrent de verschillende verwerkingsfuncties heb ik een online enquêtesysteem
opgezet dat zoveel mogelijk gebruik maakt van de pluspunten van programma’s als Kwalitan
en MS Access en van de pluspunten van de bestaande online enquêtesystemen. De volgende
paragrafen beschrijven welke functies geïmplementeerd zijn en op welke manier dit gebeurd
is.
53
5.3. Gebruikte technieken
Voor het uitwerken van algoritmen voor een alternatief online enquêtesysteem is gebruik
gemaakt van de standaard webtaal HTML en van JavaScript. Uit de vergelijkingen van
bestaande online enquêtesystemen en uit de correspondentie met verschillende ICT bedrijven
die in online enquêtes gespecialiseerd zijn, bleek dat de meeste systemen gebruik maken van
het databasesysteem MySql. Deze database kan eenvoudig aan een website gekoppeld
worden en kan via deze website geraadpleegd worden door gebruikmaking van de
programmeertaal PHP.
De eerste stap die genomen is in het opzetten van het nieuwe enquêtesysteem is het
aanmaken van de MySql database. Bij het aanmaken van de database zijn ook direct twee
tabellen aangemaakt: ‘beheerders’ en ‘enquetes’. In tabel 9 worden de verschillende
onderdelen van deze tabellen opgesomd.
TABELLEN VELDEN OMSCHRIJVING
- beheerder naam van enquêtebeheerder (onderzoeker) - e-mail emailadres van enquêtebeheerder - inlognaam inlognaam voor enquêtesysteem
Beheerders
- inlogcode gegenereerde inlogcode voor enquêtesysteem - enquete naam van de enquête - inleiding tekst waarmee de enquête ingeleid wordt - afsluiting tekst waarmee de enquête afgesloten wordt - aanmaakdatum datum waarop enquête aangemaakt is - afsluitdatum uiterlijke publicatie datum - font lettertype van de enquête - fontcolor kleur van de tekst van de enquête - bgcolor achtergrondkleur van de enquête - balkcolor kleur van een balkje in de enquête - buttonbg kleur van de knoppen in de enquête
Enquetes
- bordercolor kleur van de knopranden in de enquête
Tabel 9. De onderdelen van de tabellen ‘beheerders’ en ‘enquêtes’.
De tweede stap is het bedenken van geschikte algoritmen om het systeem op te zetten. Dit
heb ik gedaan aan de hand van de eerder genoemde taken die bij het uitvoeren van een
enquête grofweg kunnen worden onderscheiden, namelijk:
1. Het aanmaken van een enquête en het invoeren van de vragen.
2. Het publiceren en uitvoeren van de enquête.
3. Het verwerken van de verzamelde gegevens en het presenteren van de resultaten.
54
De volgende paragrafen bespreken hoe iedere taak gerealiseerd is binnen het alternatieve
online enquêtesysteem.
5.4. Aanmaken van een enquête
5.4.1. Het eerste bezoek
Bij het oproepen van het enquêtesysteem, krijgt de onderzoeker in eerste instantie toegang
tot slechts drie mogelijkheden: het lezen van hulpbestanden, aanmelden als nieuwe
enquêtebeheerder of inloggen als reeds aangemelde enquêtebeheerder.
Een nieuwe gebruiker dient zich eerst kenbaar te maken bij het systeem. De onderzoeker
kiest hiertoe tijdens het eerste bezoek aan de website de optie “aanmelden als nieuwe
gebruiker”. Vervolgens geeft de onderzoeker een aantal persoonsgegevens op, die
opgeslagen worden in de tabel ‘beheerders’: naam van de beheerder, emailadres van de
beheerder en een zelf te kiezen inlognaam en inlogcode. Op het hierop volgende scherm
wordt om de zojuist opgegeven inlognaam en inlogcode gevraagd om voor het eerst in te
loggen in het nieuwe systeem. Een reeds aangemelde onderzoeker kan in het menu direct
kiezen voor ‘inloggen’ om van het systeem gebruik te maken.18
5.4.2. Een nieuwe enquête
Nadat de enquêtebeheerder is ingelogd wordt een uitgebreider navigatiemenu aangeboden
(zie figuur 10.2) en wordt een overzicht getoond van enquêtes die de ingelogde beheerder
reeds aangemaakt heeft. In dit overzicht zijn de enquêtenaam, de datum van aanmaak, de
uiterste publicatiedatum en het aantal deelnemers (respondenten) opgenomen.
Indien er nog geen enquête is aangemaakt, of indien de beheerder van een reeds bestaande
enquête een nieuw onderzoek wil starten, is de volgende stap het aanmaken van een nieuwe
enquête. De naam die de onderzoeker kiest voor de enquête dient in kleine letters opgegeven
te worden, mag niet beginnen met een getal en mag niet geheel numeriek zijn. Deze regels
zijn zo opgesteld omdat de naam van de enquête ook gebruikt wordt als onderdeel van
tabelnamen, waarbij MySql dezelfde regels hanteert.
18 Om het systeem te testen kan gebruik gemaakt worden van de inlognaam ‘beheerder’ en de inlogcode ‘test123’. Voor deze enquêtebeheerder is een complete enquête aangemaakt om het systeem te kunnen testen.
55
Bij het aanmaken van een nieuwe enquête kan verder een inleidende tekst en een afsluitende
tekst opgegeven worden. De inleidende tekst wordt aan de respondent getoond bij het
oproepen van de enquête; de afsluitende tekst wordt getoond wanneer de respondent de
enquête voltooid heeft. De opmaak van de inleidende en de afsluitende tekst kan volledig
aangepast worden aan de wensen van de onderzoeker, doordat gebruik gemaakt is van een
‘inline HTML editor’ die door een JavaScript gegenereerd wordt (zie figuur 8.).
Figuur 8. De ‘inline htmleditor’ die gegenereerd wordt door een JavaScript biedt veel
opmaakmogelijkheden.
Het script van deze ‘inline editor’ kan gratis van Internet ‘gedownload’ worden.19 Deze
editor is alleen te gebruiken door Internet Explorer 5.5 of hoger, maar indien een andere
browser gebruikt wordt, wordt een standaard ‘textarea’ getoond, zoals weergegeven is in
figuur 9.
Figuur 9. Een standaard ‘textarea’ waarin een tekst getypt kan worden.
Tenslotte wordt gevraagd om een uiterlijke datum van publicatie. Deze datum wordt
gebruikt door een functie die bij het oproepen van de enquête door de respondent controleert
of de ‘afsluitdatum’ reeds bereikt is. Indien dit het geval is wordt niet de enquête getoond,
maar een alternatieve tekst die aangeeft dat het onderzoek beëindigd is.
Nu de algemene enquêtegegevens door de onderzoeker opgegeven zijn, worden er twee
acties uitgevoerd. De eerste is het aanmaken van nieuwe tabellen die voor iedere nieuwe
enquête opnieuw aangemaakt worden, en waarbij de enquêtenaam deel van de tabelnaam is.
56
19 Zie hiervoor HTMLArea v2.03 op http://www.interactivetools.com.
Deze tabellen worden dus alleen door de zojuist aangemaakte enquête gebruikt. Het betreft
de tabellen en velden die opgenomen zijn in tabel 10 en die allen beginnen met de naam van
de enquête, gevolgd door een ‘underscore’ ( _ ), gevolgd door de eigenlijke naam van de
tabel. De tabelnamen zijn op deze manier opgebouwd om de tabellen die bij een specifieke
enquête horen te onderscheiden van de tabellen die bij een andere enquête horen. Idealiter
wordt voor iedere enquête een nieuwe database aangemaakt. Lokaal is dit mogelijk, maar bij
gebruikmaking van ruimte op een externe webserver, is slechts plaats voor één database (met
een onbeperkt aantal tabellen).
TABELLEN VELDEN OMSCHRIJVING
_antwoorden - resnummer nummer van respondent (uniek) - catnummer nummer van de categorie (uniek) _categorieen - categorie naam van de categorie - codenummer nummer van de code (uniek) - codetekst tekst van de code - codetype type van de code: feitelijk of referentieel
_codes
- codememo memo bij de code - resnummer nummer van gekoppelde respondent - vraagnummer nummer van gekoppelde vraag
_koppelingen1
- codenummer nummer van gekoppelde code - codenummer nummer van gekoppelde code _koppelingen2 - catnummer nummer van gekoppelde categorie - vraagnummer nummer van vraag - optie gekoppelde optie
_opties
- vervolg nummer van de vervolgvraag - resnummer nummer van respondent (uniek) - begin tijdstip en datum waarop respondent begint - eind tijdstip en datum waarop respondent eindigt
_respondenten
- email emailadres van respondent - vraagnummer nummer van de vraag - vraagtekst tekst van de vraag - vraagtype type van de vraag
_vragen
- vraagmemo memo bij de vraag
Tabel 10. Omschrijving van de tabellen en de velden die gedefinieerd worden bij het
aanmaken van een nieuwe enquête.
De vragen die de onderzoeker aanmaakt, komen in de tabel _vragen te staan. Hierbij is voor
iedere vraag ruimte opgenomen voor een vraagnummer, de tekst van de vraag, het type van
de vraag (zie voor deze typen pagina 60) en eventueel een memo bij de vraag. De “opties”
die per vraag meegegeven worden, zoals de set van gesloten antwoorden, de waarden van de
likertschaal en het aantal regels dat de respondent kan invoeren bij een open vraag, worden
57
opgeslagen in de tabel _opties. In deze tabel wordt iedere “optie” aan het bijbehorende
vraagnummer gekoppeld. De tabellen _vragen en _opties worden dus gevuld bij het
aanmaken van de enquête.
Wanneer een respondent deelneemt aan de enquête worden de tabellen _respondenten en
_antwoorden gebruikt. In de eerste tabel worden enkele gegevens over de respondent
opgeslagen, zoals het nummer van de respondent en het tijdstip en de datum waarop de
respondent aan de enquête begint. Voordat de eerste respondent een antwoord op een vraag
heeft gegeven bestaat de tabel _antwoorden enkel uit het veld ‘resnummer’. Elke keer als de
eerste respondent een antwoord op een vraag heeft gegeven wordt de tabel uitgebreid met
een veld met de naam ‘vraag$vraagnummer’, waarbij $vraagnummer een variabele is en
gelijk staat aan het nummer van de vraag die zojuist beantwoord is.
Als de onderzoeker toe is aan het verwerken van de verzamelde antwoorden, kunnen de open
antwoorden gecodeerd worden. In de tabel _codes wordt de informatie over iedere
aangemaakte code opgeslagen: nummer van de code, tekst van de code, type van de code en
eventueel een memo. De combinatie van vraagnummer en respondentnummer is de link naar
het gegeven antwoord en dient daarom uniek te zijn. De tabel _koppelingen1 geeft
vervolgens de koppelingen tussen de vraagnummers, de respondentnummers en de
codenummers. De codes kunnen vervolgens ingedeeld worden in categorieën. Deze
categorieën worden met naam en nummer opgeslagen in de tabel _categorieen. De tabel
_koppelingen2 is de tabel die het laatste gevuld wordt. In deze tabel worden koppelingen
gemaakt tussen de codes en de categorieën door categorienummer en het nummer van de
toegekende code op te slaan. De combinatie van een categorienummer met een codenummer
dient uniek te zijn, om dubbele koppelingen te voorkomen.
De aanmaak van nieuwe tabellen is voor de onderzoeker niet zichtbaar. De tweede actie die
plaats vindt, is wel zichtbaar: een nieuwe uitbreiding van het navigatiemenu. De drie
verschillende navigatiemenu’s zoals ze eerder in deze paragraaf genoemd zijn, zijn in figuur
10 weergegeven.
58
Figuur 10.1
Figuur 10.2
Figuur 10.3
Figuur 10. De verschillende navigatiemenu’s: 10.1. Wordt getoond als de gebruiker nog niet
ingelogd is op het systeem; 10.2. Wordt getoond wanneer de gebruiker ingelogd is op het
systeem maar nog geen enquête aangemaakt heeft, of nog niet een reeds aangemaakte
enquête geselecteerd heeft; 10.3. Wordt getoond wanneer de onderzoeker een enquête
geselecteerd heeft om mee te werken.
De volgende stap in het aanmaken van een enquête is het toevoegen van vragen aan de (lege)
enquête. Het systeem zoekt eerst of er in de tabel _vragen al vragen opgenomen zijn. Indien
dit niet het geval is, is het nummer van de vraag “1”. Indien er al vragen in de database zijn
opgeslagen wordt door middel van de SQL-functie MAX het laatste (hoogste) vraagnummer
geselecteerd. Vervolgens wordt dit getal verhoogd met één, en dit vormt het nummer van de
nieuwe vraag. De vraagnummers zijn van het type ‘int’ (‘integer’), maar niet van het type
‘autonummering’ (‘autoincrement’), omdat het dan later niet mogelijk zou zijn de vragen
van nummer te laten veranderen door ze naar boven of naar beneden te verschuiven in
59
volgorde. De onderzoeker voert nu eerst een vraagtekst in. 20 Vervolgens wordt gekozen voor
één van de volgende vraagtypen:
1. een gesloten ja / nee vraag met als extra optie “geen idee” of “geen mening”;
2. een gesloten vraag met een set van antwoorden, waarbij één antwoord gegeven kan
worden;
3. een gesloten vraag met een set van gradaties verdeeld over een likertschaal;
4. en tenslotte een open vraag met een tekstvak voor het open antwoord.
Een belangrijk alternatief type is de gesloten vraag met een set van antwoorden, waarbij de
respondent meerdere antwoorden aan kan geven. Voor de verzamelde antwoorden op een
dergelijke vraag is nog een tabel nodig, die het respondentnummer en het vraagnummer
koppelt en een tabel die vervolgens het nummer van deze koppeling koppelt aan het gegeven
antwoord. Deze oplossing is niet ingewikkeld om te begrijpen, maar is niet geïmplementeerd
vanwege het feit dat de realisatie op dit moment te arbeidsintensief is. Een ander belangrijk
type is de gesloten vraag met een open alternatief, zoals “anders, namelijk:…” of “ja, omdat:
…”. Om een dergelijke vraag te kunnen verwerken moet het enquêtesysteem enorm
uitgebreid worden. Het antwoord dat op een dergelijke vraag gegeven wordt, dient dan
namelijk ook voorzien te worden van een aanduiding van het antwoordtype: open of
gesloten. Indien het één van de vooraf gegeven gesloten antwoorden betreft, dan kan het
antwoord verwerkt worden zoals de overige gesloten antwoorden. Betreft het een alternatief,
open antwoord, dan dient het antwoord voor een analyse geïnterpreteerd en gecodeerd te
worden. Ook dit vraagtype vraagt dus om extra tabellen, en is om deze reden nog niet
geïmplementeerd.
Wanneer er gekozen is voor één van de vier aangeboden vraagtypen, worden, afhankelijk
van het vraagtype dat gekozen is, verschillende mogelijkheden getoond. Is er gekozen voor
type 1, dan kan er vervolgens gekozen worden om de optie “geen idee” of de optie “geen
mening” toe te voegen aan de antwoordenset die standaard bestaat uit de antwoorden “ja” en
“nee”. Is er gekozen voor type 2, dan worden er tien invoervelden getoond, waarin de
onderzoeker een set van maximaal tien gesloten antwoorden kan invoeren. Voor type 3 geldt
ongeveer hetzelfde: hierbij worden vijf invoervelden getoond, waarin de onderzoeker een set
van maximaal vijf gradaties voor een likertschaal kan opgeven. Wordt er gekozen voor het
20 Voor het aanmaken van de vragen wordt ook gebruik gemaakt van eerder beschreven JavaScript ‘inline editor’.
60
vierde type, de open vraag, dan kan het maximale aantal regels dat de respondent mag
intypen opgegeven worden.
Tenslotte kunnen alle vragen, ongeacht type, voorzien worden van een memo. Figuur 11
toont hoe een scherm voor het aanmaken van een nieuwe vraag eruit kan zien en figuur 12
laat zien hoe deze vraag er uiteindelijk uit ziet.
Figuur 11. Voorbeeld scherm waarin een gesloten vraag met een likertschaal aangemaakt
en toegevoegd wordt aan de enquête (vraag 53 in de ‘CVO’ enquête, zie bijlage II).
Figuur 12. Voorbeeld van een vraag met een likertschaal (vraag 53 in de ‘CVO’ enquête, zie
bijlage II).
61
Wanneer de optie “vragenoverzicht” in het navigatiemenu gekozen wordt (zie figuur 10),
worden alle aangemaakte vragen in volgorde onder elkaar getoond. Voor het lezen van de
memo bij een vraag, kan de onderzoeker gebruik maken van een link naast de vraag om een
kleiner browserscherm te openen met daarin de bijbehorende memo.
5.4.3. Een bestaande enquête
Wanneer een enquête aangemaakt is en vragen zijn toegevoegd biedt het systeem uitgebreide
mogelijkheden om wijzigingen aan te brengen in de vragen, de inleidende en de afsluitende
teksten en de lay-out van de uiteindelijke enquête. Van de inleiding en de afsluiting kunnen
alleen de letterlijke tekst en de opmaak gewijzigd worden. De vragen kunnen op meerdere
manieren aangepast worden. Zo kunnen verschillende onderdelen gewijzigd worden:
vraagtekst, opgegeven opties (bijvoorbeeld de gesloten antwoorden of de gradaties voor een
likertschaal) en de memo. Vragen kunnen ook verwijderd worden. Indien dit gebeurt met een
vraag die niet de laatste vraag is, schuiven alle volgende vragen op naar boven. Dit
verschuiven van vragen kan ook gedaan worden zonder een vraag te verwijderen. Met
uitzondering van de eerste vraag, kunnen alle vragen per keer één plaatsje omhoog
geschoven worden. Wanneer bijvoorbeeld de derde vraag één plaatsje omhoog geschoven
wordt, wordt deze vraag de tweede vraag; de voormalig tweede vraag wordt automatisch de
nieuwe derde vraag. Door dezelfde vraag nogmaals omhoog te schuiven kan van de
oorspronkelijk derde vraag de eerste vraag gemaakt worden, wordt de eerste vraag de tweede
vraag en wordt de tweede vraag de derde vraag. Terwijl in de achterliggende database de
vraagnummers van twee vragen omgewisseld worden, ziet de onderzoeker op het scherm dat
de geselecteerde vraag omhoog geschoven is. Op deze manier kan de gehele vragenlijst
gereorganiseerd worden.
Tenslotte is het nog mogelijk ‘skips’ (ook wel vervolgvragen genoemd) te definiëren. Op
deze manier kan aangegeven worden welke vraag aan de respondent getoond moet worden,
afhankelijk van het antwoord dat gegeven is op de vorige vraag. De ‘skips’ worden per
antwoordmogelijkheid (optie) gedefinieerd. Uiteraard hoeft de onderzoeker geen ‘skip’ aan
te geven als de volgende vraag de vervolgvraag is. Het is niet mogelijk een ‘skip’ aan te
geven voor open vragen, immers het antwoord van de open vraag is van tevoren niet bekend.
Een laatste stap in het aanmaken van een enquête is het aanpassen van de lay-out van de
enquête. De enquête kan aangepast worden aan de website van de onderzoeker door
bijvoorbeeld de achtergrondkleur van de enquête en van de knoppen te veranderen, de
randen van de knoppen en het lettertype (keuze uit vijf standaard lettertypen). Om te laten
zien hoe de nieuwe kleuren en / of het nieuwe lettertype eruit zien in de uiteindelijke enquête
62
wordt gebruik gemaakt van de HTML-tag <IFRAME>. Op deze manier kan een
voorbeeldscherm van de enquête getoond worden als onderdeel van het opmaakscherm.
5.5. Uitvoeren van de enquête
Nu de enquête ‘gevuld’ is met vragen en opgemaakt is naar eigen wens, kan de enquête
gepubliceerd worden. Dit houdt in dat aan de doelgroep bekend gemaakt kan worden dat de
enquête online staat en dat men uitgenodigd wordt aan het onderzoek deel te nemen. Deze
bekendmaking kan op verschillende manieren gebeuren. Door een e-mailbericht te versturen
met een aankondiging kunnen eenvoudig en snel veel respondenten tegelijk geattendeerd
worden op de enquête. Een link op de eigen website kan de respondenten ook naar de
enquête leiden. Het enquêtesysteem genereert hiervoor de benodigde HTML-code die
gekopieerd kan worden naar de eigen website, zoals bijvoorbeeld figuur 13.
Figuur 13. Voorbeeld HTML-code om op te nemen in de eigen website voor een verwijzing
naar de enquête. ‘ENQ’ is hierbij een variabele die door PHP automatisch gevuld wordt met
de naam van de enquête die de onderzoeker eerder geselecteerd heeft.
Een andere mogelijkheid is het tonen van de enquête binnen de eigen website door gebruik
te maken van de eerder genoemde <IFRAME> HTML-tag. Hiermee wordt de enquête in een
nieuw scherm binnen het actieve scherm geopend. Op deze manier kan de enquête
eenvoudig opgenomen worden in de lay-out van een bestaande website. Nadeel van deze
methode is dat de <IFRAME> tag niet ‘compatible’ met iedere browser is. Een voorbeeld
van de code zoals deze aan de onderzoeker aangeboden wordt, staat in figuur 14.
Figuur 14. Voorbeeld HTML-code om op te nemen in de eigen website om de enquête te
tonen als onderdeel van de webpagina.
Voordat de enquête aan de respondent getoond wordt, is het van belang dat de onderzoeker
de enquête zelf uitgebreid test of laat testen, door te kiezen voor de menu-optie “enquête
testen in definitieve vorm” (zie ook figuur 10.). De resultaten van deze testronde worden niet
63
in de database opgeslagen, zodat ze geen invloed hebben op de werkelijk verkregen
resultaten van het onderzoek.
Babbie (2001) schrijft dat het van belang is dat de respondent aan het begin van de enquête
niet lastig gevallen wordt met allerlei persoonlijke vragen die niet in direct verband staan
met het onderwerp van het onderzoek, zoals in het geval van de ‘CVO’ enquête bijvoorbeeld
vragen over adresgegevens, leeftijd, sociale status en geslacht.
Iedere keer als de enquête opgeroepen wordt en de inleidende tekst aan een respondent
getoond wordt, wordt daarom alleen het tijdstip en de datum waarop de respondent aan de
enquête is begonnen in de database opgeslagen. Door deze gegevens toe te voegen aan de
tabel _respondenten, wordt automatisch een nieuw respondentnummer aangemaakt.
‘Resnummer’ is namelijk van het type ‘autonummering’ en de waarde moet uniek zijn. Het
respondentnummer wordt gebruikt om in de tabel _antwoorden de antwoorden van de
verschillende respondenten van elkaar te kunnen onderscheiden. Het respondentnummer en
het antwoord dat de respondent op een vraag gegeven heeft worden elke keer meegegeven
naar de volgende vraag. Pas als de respondent op de knop voor de volgende vraag geklikt
heeft, wordt het antwoord op de vorige vraag weggeschreven naar de database. Daarna wordt
de volgende vraag getoond. Van het wegschrijven van het antwoord naar de database merkt
de respondent uiteraard niets.
Zowel open als gesloten antwoorden kunnen eenvoudig in de MySql database worden
opgeslagen. Gesloten antwoorden worden opgeslagen in een veld van het datatype
‘character’ (char: maximaal 255 tekens); open antwoorden worden opgeslagen in een veld
van het datatype ‘longtext’ (maximaal 4.294.967.295 tekens). Na de opslag kunnen de beide
soorten antwoorden ‘realtime’ bekeken worden. De gesloten antwoorden zijn dan ook direct
beschikbaar voor een statistische analyse. Analyse van de open antwoorden kan het beste
plaatsvinden wanneer eerst alle antwoorden gecodeerd worden. Daarna kunnen ‘queries’
uitgevoerd kunnen worden op de coderingen en de categorieën waarin de codes zijn
ingedeeld. De twee typen antwoorden vragen dus om een afzonderlijke aanpak wat betreft de
analyse van de antwoorden.
64
5.6. Verwerken van de verzamelde resultaten
5.6.1. ‘Realtime’ verwerking
Het enquêtesysteem biedt de mogelijkheid tussentijds de verzamelde resultaten te bekijken.
Direct nadat de eerste respondent aan de enquête heeft deelgenomen, zijn de resultaten voor
de onderzoeker zichtbaar. De gesloten antwoorden worden getoond in een tabel en een
eenvoudige grafiek, waarbij de gegeven antwoorden geteld worden en omgezet worden in
percentages. De tabel wordt simpelweg gevuld met de gegevens uit de tabel in de database;
de grafiek wordt opgebouwd met een afbeelding van 1x1 pixel, waarbij de hoogte van de
afbeelding een vaste waarde heeft, maar de breedte van de afbeelding afhankelijk is van het
aantal keren dat een bepaald antwoord gegeven is. Dit levert een zogenaamd staafdiagram
op.
Ook de gegeven open antwoorden kunnen direct bekeken worden. Deze worden in een tabel
getoond, waarbij alleen de laatste vijf antwoorden getoond worden, in verband met de lengte
die de open antwoorden kunnen hebben. Voor een diepgaande verwerking van de open
antwoorden dienen de antwoorden gecodeerd en gestructureerd te worden. Dit is dan ook de
volgende stap in de verwerking van de verzamelde resultaten.
5.6.2. Coderen en structureren
Om een doordachte, consistente en efficiënte manier van coderen te bereiken, kan de
onderzoeker de open antwoorden op drie manieren coderen:
- vooraf een set met codes aanmaken, waaruit bij het coderen van ieder open antwoord
een of meerdere codes gekozen kunnen worden;
- tijdens het coderen van een antwoord een nieuwe code aanmaken, het zogenaamde
‘open coding’;
- zoeken naar het voorkomen van een bepaald woord, een woordcombinatie of een
compleet antwoord en aan de zoekresultaten automatisch een code toe laten kennen:
‘auto coding’.
Het aanmaken van een nieuwe code is vergelijkbaar met het aanmaken van een nieuwe
vraag. Een code bestaat uit een codetekst, een codetype (feitelijk of referentieel, zie ook
paragraaf 3.4.2.) en een codememo. De codegegevens worden in de tabel _codes bewaard.
Wanneer de onderzoeker een open vraag geselecteerd heeft om te coderen wordt een
overzicht gegeven van alle antwoorden die op deze vraag gegeven zijn, en indien er reeds
antwoorden gecodeerd zijn, de toegekende codes. Bovendien staat achter ieder antwoord een
link om dat specifieke antwoord te voorzien van codes. Een code die uit het lijstje met codes
65
geselecteerd wordt en toegekend wordt aan een specifiek antwoord, wordt samen met het
nummer van de vraag en het nummer van de respondent die het antwoord gegeven heeft
opgeslagen in de tabel _koppelingen1.
Een andere mogelijkheid om de antwoorden op een bepaalde vraag te coderen is
‘autocoding’. De onderzoeker kan opgeven naar welke term in de antwoorden gezocht moet
worden. Voor de toe te kennen code kan de gebruikelijke informatie opgegeven worden:
codetekst, codetype en codememo. Het systeem zoekt in alle antwoorden die op de
geselecteerde vraag gegeven zijn naar de opgegeven zoekterm. Wanneer de zoekterm
gevonden wordt in één van de antwoorden, wordt er automatisch een koppeling gemaakt
tussen het antwoord (combinatie van respondentnummer en vraagnummer) en de code (het
nummer van de code) in de tabel _koppelingen1.
Indien dit gewenst is, kan in een later stadium een koppeling tussen een code en een
antwoord weer verwijderd worden. Doordat in de tabel _koppelingen1 alleen het nummer
van de code gebruikt wordt om een koppeling met een antwoord te maken, worden achteraf
gemaakte wijzigingen in de codetekst automatisch doorgevoerd op alle plaatsen waar de
code aan een antwoord is toegekend.
Als alle open antwoorden gecodeerd zijn, kunnen de codes in categorieën ingedeeld worden.
De methode om een code aan een categorie toe te kennen is vergelijkbaar met de methode
voor het toekennen van codes aan antwoorden. Het enige verschil is dat een code aan
meerdere antwoorden gekoppeld kan worden, maar aan slechts één categorie. De categorieën
zelf kunnen ook weer gekoppeld worden aan een overkoepelende categorie om op deze
manier een hiërarchie te ontwikkelen. Wanneer de hiërarchie voltooid is, kan deze getoond
worden in de vorm van een grafische boomstructuur. In deze boomstructuur worden de
categorieën en codes per open vraag getoond. De codes vormen operationele links naar een
overzicht van alle aan de betreffende code gekoppelde antwoorden.
5.6.3. Zoeken en verzamelen
Voor het zoeken naar respondenten die aan bepaalde zoekvoorwaarden voldoen, kan gebruik
gemaakt worden van de verzamelde gesloten antwoorden en de codes die toegekend zijn aan
de open antwoorden. Het is de bedoeling geweest de onderzoeker zoveel mogelijk te ontzien
van allerlei ingewikkelde programmeertaken en daarom worden de zoekopdrachten
opgesteld in het Webinterface, waarvoor de onderzoeker geen kennis hoeft te hebben van het
opstellen van ‘queries’ of de programmeertaal SQL (‘Structured Query Language’).21
21 In de MySql handleiding van Kulk (1999) wordt SQL als volgt omschreven: “De meeste relationele database management systemen hebben de taal SQL geïmplementeerd. SQL bevat mogelijkheden om
66
Er kunnen twee typen zoekopdrachten geformuleerd worden. Het eerste type vraagt om de
invoer van de nummers van twee gesloten vragen. Vervolgens worden de antwoorden op de
eerste vraag verticaal in een matrix geplaatst en afgezet tegen de antwoorden op de tweede
vraag, die horizontaal in de matrix worden geplaatst. Op deze manier kan gekeken worden
welke antwoorden in combinatie met elkaar gegeven zijn.
Een ander type zoekopdracht zoekt naar het aantal respondenten dat aan één, twee of drie
zoekvoorwaarden voldoet. Hierbij kunnen maximaal drie verschillende of drie dezelfde
vraagnummers opgegeven worden. Vervolgens dient de onderzoeker het gezochte
antwoord(en) of de gezochte code(s) op te geven. Ook is het mogelijk aan te geven of het om
een “EN” statement of een “OF” statement gaat. Zo kan een zoekopdracht er uiteindelijk
als volgt uitzien:
Zoek het aantal respondenten dat…
1. vraag 10 heeft beantwoord met [antwoord] “ja”
EN
2. vraag 12 heeft beantwoord met [code] “geïnfecteerd e-mailbericht”
OF
3. vraag 12 heeft beantwoord met [code] “geïnfecteerde download”
Zowel de zoekvoorwaarden die de onderzoeker formuleert, als de vragen die hij / zij opgeeft
voor de matrix, worden door PHP omgezet in SQL ‘queries’ die uitgevoerd worden op de
MySql database. Echter, de codes en de antwoorden zijn in afzonderlijke tabellen opgeslagen
(_codes en _antwoorden). Het is van tevoren net bekend of de onderzoeker gebruik zal
maken van de codes of de antwoorden in zijn / haar zoekopdracht. Dit heeft tot gevolg dat
het niet mogelijk is een enkele SQL ‘query’ op te stellen waarbij zowel een code als een
antwoord opgegeven wordt als zoekvoorwaarde. Om de open antwoorden en de gesloten
antwoorden toch samen in een zoekopdracht te kunnen gebruiken, worden meerdere
SELECT ‘queries’ opgegeven, waarbij de formulering afhankelijk is van het gekozen
vraagtype. Betreft de selectie een open vraag, dan wordt de ‘query’ uitgevoerd op de tabel
codes; betreft het een gesloten vraag, dan wordt de ‘query’ uitgevoerd op de tabel
antwoorden. De resultaten van de ‘queries’ worden in afzonderlijke ‘arrays’ weggeschreven.
Indien een “EN” statement geselecteerd is, worden de verschillende ‘arrays’ met elkaar
vergeleken en worden alleen de waarden die in beide ‘arrays’ voorkomen in een nieuwe
relatieschema’s te declareren, om vragen aan een database te stellen en om de toestand van het databasesysteem te wijzigen.”
67
‘array’ weggeschreven (functie array_intersect). Wanneer gekozen is voor een “OF”
statement, worden de ‘arrays’ samengevoegd in een nieuwe ‘array’ (functie array_diff).
Tenslotte wordt het aantal waarden in de ‘array’ geteld en wordt deze numerieke waarden
(het aantal respondenten dat aan de zoekvoorwaarde(n) voldoet) gepresenteerd.
5.6.4 Exporteren van de onderzoeksresultaten
De resultaten van de enquête kunnen geëxporteerd worden naar andere (statistische)
programma’s, zoals MS Access, MS Excel en SPSS. Hiertoe worden de gegevens die
opgeslagen zijn in de tabel _antwoorden opgeslagen in tekstbestanden die vervolgens van de
website ‘gedownload’ kunnen worden. De gegevens in deze tekstbestanden zijn opgeslagen
in CVS-formaat. Dit betekent dat ze van elkaar gescheiden zijn met een vast teken, namelijk
een tab, welke in de drie genoemde programma’s herkend kan worden als een
scheidingsteken voor de verschillende velden. De eerste regel in het tekstbestand geeft de
veldnamen, de volgende regels komen overeen met de rijen in de MySql-tabel. De resultaten
kunnen natuurlijk ook direct vanaf de website gekopieerd worden naar bijvoorbeeld een MS
Word bestand, een MS PowerPoint presentatie of een andere website.
5.6.5. ‘Content analysis’
Er is slechts één ‘content analysis’ functie geïmplementeerd, namelijk die van de
woordfrequentielijst. De onderzoeker geeft aan van welke vraag hij / zij een
woordfrequentielijst wil genereren. Het systeem doorloopt dan alle antwoorden die op die
specifieke vraag gegeven zijn. De antwoorden worden ontdaan van interpunctie en
afgebroken bij de spaties. Op deze manier kunnen alle afzonderlijke woorden opgenomen
worden in een lijst van woorden. Door middel van de functie array_count_values wordt
geteld hoe vaak ieder woord in de lijst is opgenomen. Door de resultaten van deze functie
weg te schrijven naar het scherm, ontstaat een overzicht van alle gebruikte woorden en het
aantal keren dat ze gebruikt zijn.
5.7. Toepassing van het systeem
Het systeem is getest door de 58 vragen uit de ‘CVO’ enquête in te voeren, evenals de
antwoorden van 30 respondenten. Tijdens het werken met het systeem valt op dat het
systeem zeer efficiënt werkt door de stap voor stap begeleiding bij het invoeren en wijzingen
van de vragen, maar ook bij de analyse van de ingevoerde antwoorden. Tijdens deze test zijn
echter ook een aantal gebreken aan het licht gekomen. Zo is het niet mogelijk in de tekst van
68
de vraag of in een antwoord een apostrof in te voeren. Dit teken wordt als speciaal karakter
behandeld, waardoor de vraag niet goed opgeslagen wordt in de database. Woorden als
‘programma’s’ en ‘macro’s’ zijn daarom ingevoerd als ‘programmas’ en ‘macros’.
Bij het invoeren van veel vragen zijn typefouten snel gemaakt. De vragen kunnen te allen
tijde nog gewijzigd worden, maar dat geldt niet voor de opties. Wanneer deze veranderd
worden nadat een respondent heeft deelgenomen aan de enquête, komen de antwoorden die
gegeven zijn voor de wijziging niet meer overeen met de antwoorden die na de wijziging
worden gegeven. Wellicht dient er in de toekomst een spellingscontrole ingebouwd te
worden, die zoveel de mogelijk voor de hand liggende fouten kan voorkomen. De volgende
paragraaf gaat dieper in op de mogelijkheden en functionaliteiten die in de toekomst aan het
systeem toegevoegd kunnen of moeten worden. Bij een aantal van deze beperkingen is
bewust gekozen om ze niet te implementeren, andere kwamen aan het licht tijdens het
toepassen van het systeem.
5.8. Voor de toekomst…
Er zijn een aantal functies in dit online enquêtesysteem die nog verder uitgewerkt zouden
kunnen worden. Deze paragraaf bespreekt enkele ‘gebreken’ in de achterliggende techniek,
de gebruiksvriendelijkheid voor de onderzoeker en de toegankelijkheid voor de respondent.
5.8.1 Achterliggende techniek
De database is op dit moment minimaal beveiligd. De onderzoeker kiest zelf een inlogcode
en inlognaam, welke opgeslagen worden in een tabel in de database. Bij het inloggen op het
systeem wordt de ingetypte inlogcode niet op het scherm getoond, maar verhuld door het
gebruik van ‘*’. Vervolgens wordt gecontroleerd of de inlognaam en de inlogcode samen
voorkomen. Echter, iedere hacker kan op dit moment eenvoudig in de database inbreken,
gegevens veranderen en de inlogcodes kopiëren.
Een ander risicovol punt is het doorgeven van de variabelen na het uitvoeren van een actie of
na het volgen van een link. De waarden van de door te geven variabelen worden nu in de
adresbalk van de browser getoond en zouden beter beveiligd kunnen worden door ze te
encrypten. Op deze manier kunnen de waarden niet door hackers onderschept worden. Het
encrypten van de variabelen en vooral ook het decrypten is een ingewikkelde taak. Indien er
voor gekozen wordt het enquêtesysteem daadwerkelijk online aan te bieden is het echter wel
een noodzakelijke taak.
69
Om te voorkomen dat er erg veel enquêtes aangemaakt worden die allemaal in de database
opgeslagen blijven staan, wordt de beheerder van een nieuwe enquête gevraagd een uiterlijke
datum van publicatie op te geven. Het systeem voert een check uit om te kijken of de
opgegeven datum reeds bereikt is. Indien dat het geval is, wordt momenteel alleen een
melding aan de respondent getoond, dat de enquête niet langer uitgevoerd wordt. Idealiter
blijft de enquête na deze datum nog twee weken in het systeem aanwezig, zodat de
onderzoeker de verzamelde gegevens in die tijd nog kan gebruiken voor het onderzoek en
eventueel de gegevens kan downloaden. Na deze twee weken zou de enquête dan definitief
uit de database verwijderd kunnen worden. Dit zal de database aanzienlijk opschonen.
Een extra functionaliteit die geboden kan worden om het aantal respondenten dat deelneemt
aan de enquête onder controle te houden is de onderzoeker de mogelijkheid te bieden een
‘IP-range’ op te geven. Iedere computer die verbinding maakt met het Internet is voorzien
van een IP adres. Door te definiëren welke IP adressen deel mogen nemen aan de enquête,
kan de onderzoeker een beperkte doelgroep opgeven, bijvoorbeeld alleen de studenten en
medewerkers van de eigen universiteit. Een andere methode is bijvoorbeeld het opgeven van
het minimale en / of maximale aantal te verzamelen antwoorden.
Wat niet getest is, is de snelheid waarmee de ‘queries’ uitgevoerd worden, en wat er gebeurt
als meerdere onderzoekers tegelijkertijd op het systeem in loggen, al dan niet op
verschillende enquêtes. Hiervoor zullen tests uitgevoerd moeten worden om te voorkomen
dat de maximale hoeveelheid dataverkeer, die ingesteld is door de webprovider,
overschreden wordt.
Tenslotte is het nodig hier een opmerking te maken over de programmeercodes. Het is
wellicht mogelijk het programmeren efficiënter uit te voeren, waardoor er minder
dataverkeer is en het systeem nog sneller te gebruiken is. Dit kan gerealiseerd worden door
meer gebruik te maken van algemene, externe bestanden voor codes die hergebruikt worden,
en door nog meer elementen op te nemen in de ‘cascading stylesheets’ waarin de stijl van de
website gedefinieerd is.
5.8.2 Gebruiksvriendelijkheid voor onderzoekers
Een systeem, dat vriendelijk in het gebruik is voor de onderzoeker die een enquête wil
aanmaken, uitvoeren en verwerken, is voorzien van duidelijke en overzichtelijk helpfunctie.
Op dit moment is op de welkomstpagina te lezen wat globaal de mogelijkheden van het
systeem zijn. Daarnaast is een samenvatting van Babbie’s (2001) voorwaarden voor een
goed opgezette enquête opgenomen: voorwaarden voor een goed opgezette vragenlijst,
voorwaarden voor goed verwoorde vragen en tenslotte een aantal adviezen voor het kiezen
70
van een geschikt vraagtype. De website zal echter ook nog voorzien moeten worden van een
uitgebreide handleiding, een ‘Frequently Asked Question’-sectie (FAQ) en de mogelijkheid
om vragen en opmerkingen op de site achter te laten (in de vorm van een forum of een
gastenboek) of via e-mail aan de ontwikkelaar te versturen.
Des te meer mogelijkheden het systeem biedt, des te vriendelijker wordt het systeem wellicht
ervaren, mits deze mogelijkheden helder, zinvol en functioneel zijn. Het is eenvoudig te
realiseren dat er meer gebruik gemaakt kan worden van de multimediamogelijkheden van het
Internet. Hierbij valt bijvoorbeeld te denken aan de mogelijkheid dat de onderzoeker een
afbeelding opgeeft, die dienst kan doen als enquêtelogo, en die bij iedere vraag zichtbaar
blijft. Op deze manier kan de onderzoeker de enquête een persoonlijk tintje geven. Naast het
opgeven van een logo zou ook de mogelijkheid geboden kunnen worden bij een vraag een
link naar een extern bestand op te nemen, zoals een afbeelding, een video- of audiobestand,
of naar een andere website. Deze bestanden krijgt de respondent bij het invullen van de
enquête dan bij de betreffende vraag te horen en / of te zien. Nadeel van het gebruik van
externe bestanden is dat ze eerst ‘geupload’ moeten worden naar de webserver. Wanneer hier
voor gekozen wordt, dient er een functie in het systeem ingebouwd te worden die bijhoudt
hoeveel ruimte de afbeeldingen per enquête op de server innemen, en die hier een maximum
aan stelt, bijvoorbeeld 1.000.000 bytes (1 MB).
Momenteel wordt het systeem alleen in het Nederlands aangeboden. Het is wellicht het
overwegen waard het systeem meertalig te maken, zowel voor de onderzoekers, als voor de
respondenten.
Ook wat betreft de mogelijkheden voor het opstellen van enquêtevragen zou nog het één en
ander uitgebreid kunnen worden. Het is nu alleen mogelijk een meerkeuzevraag met
alternatieven op te geven waarbij de respondent slechts één antwoord op de vraag kan geven;
de alternatieven worden vooraf gegaan door ‘radiobuttons’. Wellicht is het wenselijk ook
een meerkeuze vraag met alternatieven aan te kunnen bieden waarbij de respondent
meerdere antwoorden kan kiezen. De antwoorden worden dan vooraf gegaan door
‘checkboxes’. In verband met een lastige opslag in de database, is er voor gekozen deze
mogelijkheid nog niet te implementeren. Ook het vraagtype dat in paragraaf 2.5.3. besproken
is, de gesloten vraag met een open optie, zou toegevoegd moeten worden. Een laatste veel
gebruikte vraagvorm die ontbreekt, is de matrixvraag waarbij in een matrix meerdere
deelvragen opgenomen zijn met telkens dezelfde set alternatieven om uit te kiezen.
Het systeem is nu dusdanig geprogrammeerd dat alle vragen afzonderlijk getoond worden,
omdat dit voor de respondenten veelal overzichtelijker is dan alle vragen onder elkaar. Deze
tweede mogelijkheid zou echter wellicht wel als optie aangeboden kunnen worden. Het
71
tonen van meerdere vragen per pagina is vooral praktisch bij een klein aantal vragen, of
wanneer de vragen ingedeeld zijn in deelonderwerpen,, bijvoorbeeld ‘persoonsgegevens’. Bij
het vragen naar de persoonsgegevens zou de onderzoeker tevens moeten kunnen aangeven of
het ook toegestaan is anoniem aan de enquête deel te nemen.
Vooral ook de toepassing van ‘natural language processing’ kan een belangrijke stap
voorwaarts betekenen. Door de krachtige functies uit de natuurlijke taalverwerking te
implementeren in het enquêtesysteem, kan het mogelijk gemaakt worden de antwoorden
geheel automatisch te coderen (volledige ‘auto-coding’) en te analyseren. De onderzoeker
zal hierdoor steeds meer van zijn taken verlicht worden bij het uitvoeren van een enquête.
De open antwoorden kunnen momenteel gecodeerd worden met één of meerdere labels.
Deze coderingslabels kunnen vervolgens in een categorieën verdeeld worden, welke in een
grafische boomstructuur getoond kunnen worden. Wellicht is het wenselijk om ook de
geprecodeerde gesloten antwoorden in een dergelijke structuur te kunnen opnemen, met
name in het geval van vervolgvragen.
Tenslotte moeten de verkregen resultaten niet alleen op de website getoond worden in een
tabel, een grafiek, een boomstructuur of een matrix, maar is het ook belangrijk dat de
gegevens geëxporteerd kunnen worden naar andere, veel gebruikte computerprogramma’s
zoals SPSS, MS Access, MS Excel, MS PowerPoint, MS Word etc. De gegevens kunnen
direct vanaf de website gekopieerd worden naar een MS Word document of een MS
PowerPoint presentatie. Om de gegevens te importeren in de andere drie genoemde
programma’s wordt momenteel alleen een tekstbestand aangeboden. Het is in PHP ook
mogelijk een formaat op te stellen dat specifiek bedoeld is voor bijvoorbeeld MS Excel. Er
wordt dan niet een tekstbestand aangemaakt dat uiteindelijk 1 tabel oplevert, maar een
compleet ‘werkboek’ dat kan bestaan uit meerdere tabellen en zelfs grafieken. Het zou ook
mogelijk moeten zijn meerdere soorten grafieken en diagrammen te maken. In PHP kunnen
namelijk dynamische afbeeldingen en diagrammen gegenereerd worden. Echter, zowel voor
het maken van een MS Excel ‘werkboek’, als voor het gebruiken van dynamische
afbeeldingen dient een speciale PHP ‘library’ geïnstalleerd te zijn op de webserver. Niet
iedere webprovider biedt de mogelijkheid deze ‘libraries’ te gebruiken.
Het gehele systeem zou misschien nog meer ‘stap voor stap’ opgezet kunnen worden, om het
volgen van de juiste route door het systeem nog duidelijker te maken voor de onderzoeker.
5.8.3. Toegankelijkheid voor respondenten
Er wordt steeds meer onderzoek gedaan naar de gebruikersvriendelijkheid van websites. Ook
de gebruikersvriendelijkheid en de toegankelijkheid van het online enquêtesysteem zoals dat
72
in dit hoofdstuk gepresenteerd is, dient goed onderzocht te worden in de toekomst. De
toegankelijkheid voor de respondenten kan verhoogd worden door een vriendelijker
‘userinterface’. Hiervoor moet bijvoorbeeld onderzocht worden welke kleuren het beste
gebruikt kunnen worden (in verband met kleurenblindheid bijvoorbeeld), welke woorden het
beste gekozen kunnen worden voor het navigatiemenu en op welke manier de site het beste
ingedeeld en gestructureerd kan worden.
Een stapje verder gaat het invoeren van geluidsbestanden bij iedere vraag. Hierdoor is het
mogelijk dat ook slechtzienden mee kunnen doen aan de enquête doordat ze de vraag kunnen
horen. Echter, om de website daadwerkelijk laagdrempelig te maken voor respondenten met
een handicap dienen wellicht nog veel meer maatregelen genomen te worden (zoals namen
geven aan afbeelding, mogelijkheid bieden om vragen via spraak te beantwoorden etc.).
Daarnaast dient de interface enigszins bijgestuurd te worden om het systeem ook bruikbaar
te maken in de browsers Netscape, Mozilla en Opera. De website kan momenteel in deze
browsers geopend en gebruikt worden, maar ziet er enigszins anders uit dan in Internet
Explorer. Bij deze aanpassingen dient ook rekening gehouden te worden met andere
platformen zoals Unix en Macintosh en andere schermresoluties (de meest gebruikte zijn 15
inch en 17 inch monitoren, maar 19 inch en 21 inch komen ook steeds meer voor).
Een laatste extra ‘feature’ voor de respondenten die hier genoemd wordt, is de
progressiebalk. In een dergelijke balk kan worden bijgehouden hoe veel vragen de
respondent reeds beantwoord heeft, en hoe veel vragen nog onbeantwoord zijn.
5.9. Conclusie
In dit hoofdstuk is een mogelijk alternatief systeem gepresenteerd. Het systeem is onder
andere gebaseerd op de CAQDAS functionaliteiten uit hoofdstuk drie. In hoofdstuk vier zijn
de besproken CAQDAS functies in een schema opgenomen om aan te geven welke functies
voor antwoorden op open en gesloten vragen gebruikt kunnen worden. Dit schema is in tabel
11 opnieuw gebruikt om aan te geven welke functionaliteiten uiteindelijk in dit alternatieve
systeem geïmplementeerd zijn.
73
CAQDAS functie Open antwoorden Gesloten antwoorden
Coderen
Structureren van de codes
Zoeken en verzamelen Memo’s en annotaties toevoegen Hyperlinks toevoegen Weergeven van de resultaten Content analyse
Tabel 11. CAQDAS functies die in het gepresenteerde alternatieve systeem gerealiseerd zijn.
Uit de tabel valt af te lezen dat met uitzondering van het structureren van de codes van de
gesloten antwoorden alle genoemde CAQDAS functies in het alternatieve systeem
gerealiseerd zijn.
Vervolgens zijn in hoofdstuk vier een tweetal bestaande computerprogramma’s en een aantal
bestaande online enquêtesystemen bestudeerd op de mogelijkheden die zij bieden om zowel
open als gesloten antwoorden in een online enquête te verwerken. Hieruit is een lijst van
plus- en minpunten voortgekomen. In het in dit hoofdstuk gepresenteerde online
enquêtesysteem zijn zoveel mogelijk van deze pluspunten overgenomen. Dit levert een
systeem op dat een groot aantal voordelen kent boven bestaande computerprogramma’s en
bestaande online enquêtesystemen. Zo is het ontwikkelde systeem platform- en programma-
onafhankelijk en is een directe koppeling tussen website en database gemaakt. Daarnaast
biedt het systeem voldoende CAQDAS functionaliteiten om zowel open als gesloten
antwoorden te verwerken en maakt het systeem uitvoerig gebruik van de voordelen van het
Internet, zoals hyperlinks en allerlei grafische mogelijkheden. Bovendien worden al deze
functionaliteiten in één systeem aangeboden en is het systeem dermate uitgebreid opgezet
dat het mogelijkheden biedt voor het opzetten, het uitvoeren en het verwerken van een
enquête. De onderzoeker hoeft niet te beschikken over speciale software of kennis van
specifieke programma’s of programmeertalen (zoals SQL), en wordt in staat gesteld in korte
tijd een enquête uit te voeren, waarbij een grote populatie bereikt kan worden.
De bespreking van een alternatief systeem is afgesloten met een opsomming van de
beperkingen. Deze opsomming is uiteraard niet uitputtend. Het volgende hoofdstuk gaat
onder andere in op meer algemene onderwerpen voor vervolgonderzoeken.
74
6. Conclusie
Deze scriptie heeft geleid tot het zoeken naar een systeem, bestaand of nieuw, dat het
mogelijk maakt een online enquête met zowel gesloten als open vragen op te zetten, uit te
voeren en te verwerken. Aanleiding hiervoor waren de problemen waar ik tegenaan liep bij
de verwerking van een enquête die verschillende groepen computergebruikers vroeg om hun
mening over en gedragingen ten opzichte van computervirussen. Naar aanleiding van de
behoefte aan één eenvoudige en snel te gebruiken ‘tool’ voor het opzetten, het uitvoeren en
het verwerken van een online enquête, is in de inleiding de volgende onderzoeksvraag
gesteld:
“Is hoeverre is het mogelijk antwoorden op zowel open als gesloten vragen in online
enquêtes zoveel mogelijk geautomatiseerd en in één systeem op te slaan, te analyseren en te
presenteren?”
Om een antwoord te kunnen geven op deze onderzoeksvraag zijn meerdere aspecten van de
thema’s ‘online enquête’ en ‘open en gesloten vragen’ bekeken. In hoofdstuk twee wordt
allereerst een theoretisch kader geschetst, waarin de begrippen kwalitatief, kwantitatief,
online enquête, open vragen en gesloten vragen gedefinieerd worden. Een eerste conclusie
die uit dit theoretische kader getrokken kan worden heeft te maken met de online enquête in
vergelijking met andere enquêtestrategieën. Wanneer een onderzoeker een enquête wil
gebruiken als aanvulling op, of als basis van een groter onderzoek, is de online enquête bij
uitstek geschikt. De een online enquête is een snelle onderzoeksstrategie en via het World
Wide Web is het mogelijk een grote populatie te bereiken. Bovendien hoeven voor een
online enquête niet veel kosten gemaakt te worden, doordat er geen sprake is van
papiergebruik en enquêteurs. Een andere opmerking die aan de hand van het tweede
hoofdstuk gemaakt kan worden is het feit dat een enquête uit zowel open als gesloten vragen
kan bestaan, afhankelijk van het onderzoek en het onderwerp. Een onderzoeker moet zich bij
keuze voor het type vraag laten leiden door het onderwerp en het gewenste antwoord, niet
door het werk dat verricht moet worden om de antwoorden te verwerken.
Het derde hoofdstuk bespreekt een manier van verwerken van open antwoorden, die
gebaseerd is op de Grounded Theory methode van Glaser en Strauss (1967): CAQDAS. Dit
theoretische onderzoek heeft zich beperkt tot de functies coderen, structureren, zoeken en
verzamelen, het toevoegen van hyperlinks en memo’s, en het weergeven van de resultaten.
Daarbij is ook enige aandacht geschonken aan methoden voor ‘content analysis’. Uit dit
theoretisch onderzoek kan geconcludeerd worden dat open antwoorden wel degelijk
gestructureerd en geautomatiseerd verwerkt kunnen worden op een verantwoorde manier.
75
Hierbij moet opgemerkt worden dat CAQDAS de onderzoeker wel ondersteunt bij een
verwerking van de gegevens, maar deze analyse niet van de onderzoeker overneemt. De
analyse kan dus wel met gebruikmaking van de computer uitgevoerd worden, maar kan niet
volledig aan de computer overgelaten worden. Hiervoor dienen wellicht ‘natural language
processing’ functies geïmplementeerd te worden, die in staat zijn de tekst te ontleden en te
begrijpen. Programma’s die van deze functies voorzien zijn, zullen waarschijnlijk in staat
zijn een interpretatie van de gegevens te geven, die de interpretatie van de onderzoeker heel
dicht nadert.
In hoofdstuk vier wordt vervolgens onderzoek gedaan naar de bruikbaarheid van CAQDAS
functies bij de verwerking van zowel open als gesloten antwoorden. Hieruit blijkt dat de
meeste besproken CAQDAS functies heel goed gebruikt kunnen worden voor zowel open als
gesloten antwoorden. Vervolgens zijn twee bestaande programma’s getoetst op de
mogelijkheden om beide typen antwoorden op te slaan, te verwerken en te presenteren. Er is
hierbij gekozen voor twee gangbare systemen: het kwalitatieve databaseprogramma
Kwalitan en het kwantitatieve databaseprogramma MS Access. Hoewel zowel Kwalitan als
MS Access in staat blijken deze taken voor beide vraagvormen uit te kunnen voeren, zijn de
programma’s er duidelijk niet voor ontwikkeld. Er zijn dan ook meerdere minpunten op te
noemen, waardoor de programma’s minder geschikt zijn voor een verwerking van beide
typen antwoorden. Een voorbeeld hiervan is het feit dat het niet mogelijk is deze
programma’s direct te koppelen aan een online enquête. Omdat beide bestaande
programma’s belangrijke functionaliteiten missen is tenslotte gekeken op welke manier de
pluspunten van de programma’s samengevoegd kunnen worden in een alternatief, nieuw
systeem, dat gebaseerd is op een MySql database voor de opslag van de gegevens en een
website die dient als interface voor het opzetten, uitvoeren en verwerken van de enquête. De
voordelen van dit alternatieve systeem wegen zwaarder dan de nadelen, en om deze reden is
er voor gekozen dit systeem verder uit te werken.
Voordat het alternatieve systeem gerealiseerd is, zijn nog enkele bestaande online
enquêtesystemen bestudeerd. Uit deze vergelijking kan geconcludeerd worden dat deze
systemen sterk zijn in het begeleiden van de onderzoeker bij het opzetten en uitvoeren van
de enquête, maar dat te weinig functionaliteit geboden wordt voor de verwerking van de
gegevens en de presentatie van de resultaten. Zowel uit dit vergelijkende onderzoek als uit
correspondentie met verschillende ICT bedrijven die gespecialiseerd zijn in online enquêtes
blijkt dat er behoefte is aan een systeem dat in staat is ook de open antwoorden te verwerken.
De bevindingen van het vergelijkend onderzoek in hoofdstuk vier en van het vergelijkend
onderzoek naar bestaande online enquêtesystemen zijn gecombineerd met de besproken
76
CAQDAS functies uit hoofdstuk drie. Het functiepakket dat hieruit is voortgekomen, is
vervolgens gerealiseerd tot een systeem dat mogelijkheden biedt om een enquête op te
zetten, uit te voeren en te verwerken. Hierbij kunnen zowel de open antwoorden als de
gesloten antwoorden verwerkt worden, en gebruikt worden in zoekopdrachten. De resultaten
van deze zoekopdrachten kunnen tenslotte gepresenteerd worden of ‘gedownload’ worden
om op te slaan op de eigen computer en eventueel te gebruiken in andere (statistische)
programma’s. Het hoofdstuk sluit af met een bespreking van de mogelijkheden en functies
die in de toekomst nog geprogrammeerd zouden kunnen worden. Deze opsomming is niet
uitputtend en er kunnen nog een aantal onderzoeken verricht worden om het systeem te
perfectioneren. Een van de belangrijkste onderwerpen voor vervolgonderzoek is wellicht het
toepassen van ‘natural language processing’ taken.
Hoewel het alleen de bedoeling was een systeem te programmeren dat in staat is zowel open
als gesloten antwoorden te verwerken, is het systeem uiteindelijk veel uitgebreider
geworden. Het systeem kan bijvoorbeeld ook gebruikt worden voor het opzetten van een
nieuwe enquête en voor het uitvoeren en publiceren van de enquête. De programmeertaal
PHP bleek zeer goed gebruikt te kunnen worden voor de verschillende programmeertaken.
Met deze taal was het mogelijk de meer complexe functies van het categoriseren, het
opstellen van ‘queries’ en het uitvoeren van ‘content analysis’ te realiseren.
Het valt op te merken dat het onderzoek onderhevig is aan een aantal beperkingen. Zo is er
slecht één methode onderzocht om kwalitatieve data te analyseren, namelijk de op Grounded
Theory gebaseerde CAQDAS. Een andere beperking is de bespreking van slechts twee
bestaande programma’s. Voor deze beperking is gekozen, omdat dit de meest gangbare
systemen zijn. Voor een nog uitgebreider online enquêtesysteem dat alle mogelijke
onderzoekers moet kunnen ondersteunen bij het uitvoeren van een enquête, is het wellicht
noodzakelijk ook andere methoden en systemen te bestuderen op geboden functies en
mogelijkheden. Het ontwikkelde systeem is uiteraard niet de enige methode om een online
enquête op te zetten, uit te voeren en te verwerken. Het is bijvoorbeeld ook mogelijk het
programma Frontpage te gebruiken voor het opzetten van een enquête of in plaats van PHP
gebruik te maken van de programmeertalen Lite of ASP. Een laatste beperking van dit
onderzoek is het feit dat er geen onderzoek gedaan is naar de mogelijkheden die speciale
software voor het maken en verwerken van een online enquête bieden. De reden voor deze
beperking is de prijs van dergelijke software, die het onaantrekkelijk maakt de software voor
een eenmalig uit te voeren enquête aan te schaffen.
In de inleiding zijn een aantal vragen geformuleerd over de gewenste ‘tool’. Naar aanleiding
van alle conclusies die in de vorige hoofdstukken reeds getrokken zijn, is het mogelijk deze
77
vragen te beantwoorden. De gewenste ‘tool’ bestaat uit verschillende functionaliteiten die
het enerzijds mogelijk maken een online enquête op te stellen, uit te voeren en te verwerken;
en het anderzijds mogelijk maken de verzamelde antwoorden op zowel de open als de
gesloten vragen te analyseren. Het in hoofdstuk vijf gepresenteerde systeem is zoveel
mogelijk van deze functionaliteiten voorzien door de statistische methoden die de meeste
online enquêtesystemen gebruiken over te nemen en deze aan te vullen met de CAQDAS
mogelijkheden die in het derde hoofdstuk uitgebreid besproken zijn. Deze scriptie kan
afgesloten worden met een antwoord op de in de inleiding gestelde onderzoeksvraag. De
bestudeerde computerprogramma’s en online enquêtesystemen bleken allen op een aantal
belangrijke punten tekort te schieten. Het is vervolgens goed gelukt de pluspunten van deze
systemen te combineren tot een compleet online enquêtesysteem, dat gebaseerd is op
onderzoeken naar de regels voor het opstellen van enquêtes, naar de
verwerkingsmogelijkheden van antwoorden op open antwoorden en naar de functies en
mogelijkheden die reeds bestaande programma’s en online enquêtesystemen bieden.
78