1

Methodieken en aandachtspunten in het onderzoeksproces

METEN EN LATEN METEN IN DE ZORGSECTOR

2

• MEMORI – praktijkgericht onderzoek, consulting & advies, o.a. voor ziekenhuizen− RZ Tienen

• Audit en communicatieadvies (2006)• Marktonderzoek (2009)

− AZ Sint-Maarten• Audit (2005)• Communicatiebegeleiding (2006)

− Onderzoek van het imago en de externe communicatie van de GZA-ziekenhuizen (2010)

• MEMORI – Projectmatig Wetenschappelijk Onderzoek − Naar een patiëntvriendelijke, duurzame onthaalomgeving in de

zorgsector (2008-2011)− Zorgmarketing of patiëntenmarketing? (2012-2013)

KADER

3

OVERZICHT

• Aanleiding om een onderzoek uit te voeren/te laten uitvoeren

• Invalshoeken • Stappen in het onderzoeksproces• Bronnen & online onderzoekstools• Voorbeelden van vraagtypen en

grafische voorstellingen

4

• Verbeterkans• Probleem, gevoel van tekort aan

handelingskennis − stageverslagen, eindproeven, krantenartikelen,

beleidsdocumenten, blogs, discussiefora,…

• Nieuwsgierigheid • Verandering (bv. fusie)• …

AANLEIDINGEN

5

COMMUNICATIE-ONDERZOEK• Sterkte-zwakte analyse van de int/ext communicatie en organisatie van de

communicatie • Optimalisering int/ext communicatie, het onthaal,… in het kader van

kwaliteitszorg• Komen tot communicatieprioriteiten binnen een communicatiebeleidsplan• Geïntegreerde uitwerking van communicatieacties, -procedures, -

kanalen… op het operationele niveau

BEKENDHEIDS- en IMAGO-ONDERZOEK• Werk maken van optimale bekendheid; positief imago bij verschillende

doelgroepen− Hoe ervaren/percipiëren de publieksgroepen de kwaliteit vh ziekenhuis?− Hoe verloopt het besluitvormingsproces bij de patiënt (in ziekenhuiskeuze)?

CONCURRENTIE-ANALYSE• Wat is de positionering van mijn ziekenhuis t.o.v. andere ziekenhuizen in

de regio?

INVALSHOEKEN

6

• Vooronderzoek en analyse van de communicatie-onderbouw

• Audit/onderzoek/survey/focusgroepen…• Conclusies en aanbevelingen

Valideren van onderzoeksresultaten: communicatieplan, communicatiestrategie, beleidsbeslissingen, bijsturing communicatiekanalen…

STAPPEN IN HET ONDERZOEKSPROCES

7

• Deskresearch • Gesprekken met onthaalmedewerkers,

patiënten, (focusgroepen)…• Surveys (online of offline)• Shadowing • Mystery shopping• Dagboekmethode• Usabilityonderzoek• …

MOGELIJKE METHODIEKEN

8

• Online survey tools• Heatmaps • Sociale media en blogs evalueren• Steekproefgrootte• Statistiek • Rapportering • Inhoudsanalyses op teksten

TOOLS

9

• Steekproefomvang

− Afhankelijk van statistische toets• http://

www.allesovermarktonderzoek.nl/Extra/steekproef.aspx (basis)

• http://www.tue-tm.org/snijders/mto3/sample_size.htm (overzicht)

• http://department.obg.cuhk.edu.hk/researchsupport/statstesthome.asp

• http://www.statpac.com/statistics-calculator/free-version.htm • (30 dagen trial)

BRONNEN

10

HTTP://WWW.JOURNALINKS.BE/STEEKPROEF/

11

• Online vragenlijsten maken

− LimeSurvey• http://www.limesurvey.org/ • Handleiding https://

admin.kuleuven.be/icts/onderzoek/enqueteservice/werken-met-limesurvey/overzicht-werken-met-limesurvey

− SurveyMonkey• https://nl.surveymonkey.com/MyAccount_GetStarted.aspx• Handleiding: www.oncoline.nl (zoeken via google)

− www.qualtrics.com− www.enquetemaken.be, www.studentenenquete.nl,

www.thesistools.com − Google Docs

BRONNEN

12

• Statistiek: − Wikiversity: http://

en.wikiversity.org/wiki/Wikiversity:Main_Page

− HyperStat Online StatisticsTextbook www.davidmlane.com/hyperstat/index.html

− Research Methods Knowledge Base www.socialresearchmethods.net\kb\index.php

− Wis(kunde)wijzer: http://www.wiswijzer.nl/ − Neill & Howellof Corston& Colman(passieve

beslissingsboom): http://en.wikiversity.org/wiki/Inferential_statistics_decision-making_tree

BRONNEN

13

• Interactieve beslissingsboom − Selecting Statistics (interactief)

www.socialresearchmethods.net/selstat/ssstart.htm

− Decision tree voor statistics (interactief) www.microsiris.com/Statistical%20Decision%20Tree/default.htm

BRONNEN

14

• Internetprogramma’s voor kwantitatieve analyses− GraphPad QuickCalcs:

www.graphpad.com/quickcalcs/index.cfm − VassarStats: http://

faculty.vassar.edu/lowry/VassarStats.html − The R Project for Statistical Computing: http

://www.r-project.org/ − SISA: http://

www.quantitativeskills.com/sisa/index.htm

BRONNEN

15

• Attention heatmap − www.Feng-Gui.com

ONLINE ONDERZOEKSTOOLS

16

• Woordenfrequenties (analyses)− http://www.online-utility.org/text/analyzer.jsp − TEXTSTAT:

http://neon.niederlandistik.fu-berlin.de/nl/textstat/

− www.wordle.net (wordcloud)− http

://www-958.ibm.com/software/data/cognos/manyeyes/

BRONNEN

17

• Kwalitatieve analyses op sociale media− Google: http://www.google.be/trends − Google Analytics (alle online berichten)− Likealizer (facebook)− Blogs: www.blogpulse.com − Twitter: http://trendistic.indextank.com/http://

neoformix.com/Projects/TwitterStreamGraphs/view.php

− Gecombineerd: http://www.marketsentinel.com/blog/2011/03/free-social-media-monitoring-tools/

BRONNEN

18

• Leesbaarheid van teksten:

BRONNEN

19

• Bij verschillende doelgroepen/stakeholders: − (paramedische) doorverwijzers, huisartsen in de

regio, omwonenden, (potentiële) patiënten, bezoekers, leveranciers, samenwerkingspartners… interne doelgroepen (bv. artsen, personeel…)

− verschillen tussen campussen?− t.a.v. concurrentie?

• Kwal.methodiek: associatie-oefeningen, projectieve technieken

• Kwan.methodiek: o.a. semantische differentiaal, Likertschaal

BEKENDHEID- EN IMAGO-ONDERZOEK

20

• Respondent wordt gevraagd naar zijn mate van akkoord met een aantal statements− Volkomen eens (5) / eens (4) / noch eens, noch oneens (3) / oneens (2) /

volkomen oneens (1)

• Er worden extreem geformuleerde uitspraken gebruikt (in de ene of andere richting; dus geen neutrale statements)− Vermijd dubbelzinnige statements− Wees specifiek => leidt ook tot specifieke antwoorden− Geen twee items in één vraag stoppen

• Gemiddelde wordt berekend om pos/neg houding van respondent te kennen− ! Negatief geformuleerde stellingen krijgen omgekeerde schaalwaarden

• Bruikbare statements => waarbij personen met dezelfde attitude ook hetzelfde antwoord zullen geven− Bij de analyse neemt men de 25% meest positieven (de respondenten met

de hoogste gemiddelde scores) en vergelijkt men die met de 25% meest negatieven

LIKERTSCHAAL

21

• Ontworpen om de betekenis van begrippen na te gaan; bleek ook waardevol voor attitudeonderzoek

• Lijst van tegengestelde adjectieven− Maar ook beschrijvende naamwoorden en

zinnen

• Respondent moet een bepaald begrip per adjectievenkoppel situeren op 7-puntenschaal.

SEMANTISCHE DIFFERENTIAAL

22

VOORBEELD SEMANTISCHE DIFFERENTIAAL

23

24

 helemaal niet van

toepassingniet van

toepassingmin of meer van

toepassingheel toepasselijk

geen antwoord/ weet niet

kwaliteitsvol (op het vlak van medische handelingen)

Innovatief (vernieuwend) zakelijke (afstandelijke) relatie

met patiënt

persoonlijke relatie met patiënt goede verpleegkundige zorg sociaal toegankelijk (ook voor

beperkte, lage inkomens)

conservatief duur

warm elitair

moderne infrastructuur (moderne kamers ed.)

vriendelijk

VOORBEELD IMAGOVRAAG

In welke mate associeert u volgende kenmerken met het [ZH]?

25

• Imago van ziekenhuis bij doorverwijzers− Doorslaggevende factoren bij de keuze van het

ziekenhuis waarnaar de huisarts doorverwijst • 5-puntenschaal gaande van ‘helemaal niet

belangrijk’ tot ‘heel belangrijk’• + open vraag: zijn er nog andere elementen…

− Indien men NIET doorverwijst [naar ons zh], wat zijn hiervoor de voornaamste redenen• Multiple response vraag (meerdere antwoorden

mogelijk)

− Associatie met imago-kenmerken− Impact van imago-kenmerken

VOORBEELDEN - DOORVERWIJZERS

26

gewoonte (n=84)

imago van het ziekenhuis (n=87)

locatie van het ziekenhuis (n=89)

comfort en accommodatie van het ziekenhuis (n=78)

persoonlijke band met de specialist (n=87)

snelheid van behandeling (n=89)

eerdere ervaringen met het ziekenhuis (n=89)

wensen van de patiënt (n=87)

algemene kwaliteit van de dienstverlening in het ziekenhuis (n=87)

pathologie van de patiënt (n=89)

vertrouwen in de vakkundigheid van de specialist (n=88)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

51

31

22

28

23

19

16

11

13

10

26

48

53

60

46

55

58

60

55

55

25

10

9

16

9

22

25

26

28

32

34

75

Doorslaggevende factoren bij de keuze van het ziekenhuis waarnaar men doorverwijst

helemaal niet belangrijk niet belangrijk neutraal belangrijk heel belangrijk

27

negatieve imago van [ZH]

ontevredenheid over [ZH]

comfort en accommodatie van een ander ziekenhuis

negatieve ervaringen met [ZH]

algemene kwaliteit van de dienstverlening in een ander ziekenhuis

snelheid van behandeling in een ander ziekenhuis

persoonlijke band met specialist in een ander ziekenhuis

locatie van een ander ziekenhuis

pathologie van de patiënt

vakkundigheid specialist in een ander ziekenhuis

wensen van de patiënt

0 10 20 30 40 50 60 70 80

4

4

10

10

14

16

23

36

46

56

74

Redenen om NIET door te verwijzen naar [ZH](Multiple response, n=70, column resp.% = 293%)

28

• Imago van ZH bij (potentiële) patiënten− Factoren die een rol spelen bij de keuze voor een welbepaald ziekenhuis

• 4-puntenschaal (helemaal niet van toepassing – heel toepasselijk)

− Kennis over fusie (groep waartoe ZH behoort)− Associatie van ZH met imagokenmerken

• Zie voorbeelden

− Beperkte concurrentie-analyse (Voor welk ZH kiest u doorgaans?)

• Populatie− N=[oneindig, nl. alle potentiële patiënten]

• n=400; minstens 30 patiënten per afdeling/pathologie/typologie• Systematische toevalssteekproef = ideaal, maar vaak moeilijk te realiseren

− papieren enquête (mondelinge afname, verspreiding via verplegend personeel, …)

• Typologie patiënt (zie grafiek)− Eerste keer patiënt in ZH?− Geslacht, leeftijd, regio, dienst (open vraag), opleidingsgraad

VOORBEELDEN - PATIËNTEN

29

geen antwoord

anders

ik heb een afspraak voor een dagopname

ik ben gehospitaliseerd/opgenomen voor enkele dagen

ik heb een afspraak voor een consultatie (polikliniek)

ik heb een afspraak bij de Medisch Technische Dienst (bv. MRI, scan, bloedafname,…)

10 20 30 40

22

1

9

27

30

11

Typologie van de patiënt (n=668)

30

VOORBEELD IMAGOVRAAG

 helemaal

niet akkoordniet akkoord akkoord

helemaal akkoord

geen antwoord/weet niet

Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra stimulans om voor dit ziekenhuis te kiezen.

Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra kwaliteitsgarantie.

Het levensbeschouwelijke aspect (bv. houding tegenover euthanasie, abortus,.. .) speelt bij mij een belangrijke rol in de keuze voor [ZH].

De vrije keuze van arts is een belangrijke reden voor mij om voor [ZH] te kiezen.

Mijn beeld over [ZH] is beïnvloed door de berichtgeving in de media.

De relatief korte wachtlijsten in [ZH]spelen een rol in mijn keuze voor dit ziekenhuis.

In welke mate gaat u akkoord met volgende uitspraken over het imago van [ZH]?

31

kwaliteitsvol*

sociaal toegankelijk*

vriendelijk*

conservatief*

warm

innovatief*zakelijke relatie met patiënt*

persoonlijke relatie met patiënt*

duur

elitair*

moderne infrastructuur

1.00

3.00

Imago van [ZH](vergelijking huisartsen - patiënten - personeel)

huisartsen SA patiënten SA personeel SA

32

• Vergelijking imago bij 3 doelgroepen

[ZH] huisartsen patiënten personeel

Conservatief* 2,48 2,38 2,72

duur 3,01 2,77 3,25

elitair* 2,43 2,35 2,73

innovatief* 3,44 3,46 3,22

kwaliteitsvol* 3,83 3,81 3,59

moderne infrastructuur 3,59 3,43

persoonlijke relatie met patiënt*

3,05 3,37 3,10

sociaal toegankelijk* 2,82 3,35 3,41

vriendelijk* 3,38 3,79 3,39

warm 3,04 3,22 3,15

zakelijke relatie met patiënt* 2,95 2,69 3,13

33

• Communicatie van doorverwijzende huisarts met ziekenhuis− Tevredenheid over de informatievoorzieningen

& informatiesoorten + belang => KLOOFANALYSE

− Informatielacunes− Tevredenheid over de samenwerking en

communicatie

• Moeilijk bereikbare doelgroep!− Telefonische opvolging

VOORBEELDEN COMMUNICATIEONDERZOEK

34

gemiddeld BELANG gemiddelde TEVREDENHEID KLOOF

Up-to-date contactgegevens van behandelende artsen 3,53 3,35 ,180

Informatie over nieuwe startende artsen 2,76 3,30 -,540

Actuele ontwikkelingen binnen het ziekenhuis (nieuwe diensten, nieuwe apparatuur…)

3,08 3,31 -,230

Medische verslaggeving na opname consultatie (per post of via MediBRIDGE) 3,95 3,49 ,460

Beleidsinformatie van het ziekenhuis 2,50 3,05 -,550

Elektronische communicatie via MONA 3,04 3,15 -,110

Medisch aanbod van het ziekenhuis 3,33 3,50 -,170

Algemene medische informatie (onderzoeksbevindingen, nieuwe visies…)

2,78 3,26 -,480

VOORBEELD KLOOFANALYSE

35

Ik ben voldoende op de hoogte van het reilen en zeilen van het ziekenhuis. (n=79)

Het ziekenhuis voorziet voldoende informatie over de verschillende diensten en afdelingen. (n=83)

De informatie van het ziekenhuis is voldoende duidelijk en helder. (n=84)

Ik heb een goed zicht op het aanbod van het ziekenhuis. (n=84)

Ik krijg voldoende informatie over nieuwe en actuele ontwikkelingen in het ziekenhuis. (n=85)

0%10%

20%30%

40%50%

60%70%

80%90%

100%

5

4

4

5

5

32

31

24

23

15

56

59

64

61

61

8

6

8

12

19

Tevredenheid over informatievoorziening van [ZH]

helemaal niet akkoord niet akkoord akkoord helemaal akkoord

36

Er is een goede informatie-uitwisseling tussen huisarts en specialist. (n=83)

De specialisten zijn makkelijk bereikbaar voor overleg. (n=79)

Ik ontvang tijdig de nodige informatie van de specialisten. (n=84)

Het ziekenhuis werkt goed samen met huisartsen en andere verwijzers. (n=78)

De contacten met de specialisten in het ziekenhuis verlopen vlot. (n=79)

Ik heb over het algemeen goede afspraken met de specialisten. (n=77)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

4

4

4

17

23

21

12

19

8

69

56

62

72

65

75

11

18

15

13

15

16

Tevredenheid over de samenwerking en communicatie

helemaal niet akkoord niet akkoord akkoord helemaal akkoord

37

• “Welke informatie mist u van [ZH]?”− Bereikbaarheid specialisten/artsen

• Regelmatig up-to-date overzicht met huidige raadplegingsuren, e-mail, tel/GSM, foto vd arts,...

− Feedback over patiënt• Nu vooral eenrichtingverkeer; op vraag van huisarts• Overlijden patiënt wordt niet doorgegeven

− Informatie over nieuwe specialisten• Un répertoire mis à jour au moins 1xpar an avec tous les

services (et nouveaux médecins) avec les coordonnées de chacun.

− Sneller informatie over nieuwe behandelingstechnieken

INFORMATIELACUNES (OPEN VRAAG)

WWW.WORDLE.NET

39

• Duidelijkheid van informatieverstrekking• Evaluatie onthaalbrochure

− Onthaalbrochure gekregen? Gelezen? − Evaluatie inhoud/vorm (likertschaal)

• Evaluatie afdelingsfolder− Brochure gekregen? Gelezen? − Evaluatie inhoud/vorm

• Evaluatie website− % websitebezoekers (van de internetgebruikers)− Evaluatie: actualiteit, gemak waarmee info gevonden wordt,

aantrekkelijkheid…

• Mening over potentieel patiëntenmagazine + verwachte thema’s

• Evaluatie onthaal• Belang van aspecten van niet-medische dienstverlening

VOORBEELDEN - PATIËNTEN

40

In welke mate gaat u akkoord met volgende uitspraken over de onthaalbrochure?

 helemaal

niet akkoordniet akkoord akkoord

helemaal akkoord

geen antwoord/weet niet

De onthaalbrochure oogt aantrekkelijk en nodigt uit tot lezen.

De onthaalbrochure is overzichtelijk.

De onthaalbrochure is duidelijk (vlot leesbaar).

De onthaalbrochure bevat alle nodige informatie.

De inhoud van de onthaalbrochure is begrijpelijk.

De onthaalbrochure is voor mij overbodig.

41

42

• Bevraging artsen – diensthoofden – personeel− Verslagen medische informatie: kennis-

leesfrequentie-tevredenheid-kanaalvoorkeuren…− Stellingen over taakinformatie, beleidsinformatie,

communicatiecultuur, informatiedoorstroming, gebruik van formulieren, kennis van de wettelijke comités…

− Profielvragen: • Discipline (internistisch, chirurgisch, medisch-techn)• Diensthoofd/eenheidsverantwoordelijke• Geslacht, leeftijd, campus, aantal jaren in dienst,

aantal dagen per week in ZH

VOORBEELDEN – INTERN COM AUDIT

43

Met deze uitspraak ga ik… Helemaal niet

akkoord

Niet akkoord

Min of meer

akkoordAkkoord Volledig

akkoord

Weet niet/geen mening

Als er iets verandert in de manier waarop ik moet werken, dan word ik doorgaans tijdig geïnformeerd. 

Er wordt teveel vergaderd in allerhande werkgroepen. 

Ik word overspoeld door allerhande informatie in het ziekenhuis. 

Mijn geneesheer-diensthoofd informeert mij voldoende. 

De informatiedoorstroming van artsen naar geneesheren in opleiding verloopt vlot. 

Binnen onze dienst stroomt de informatie vlot door tussen de betrokken artsen onderling. 

Ik ben slecht op de hoogte van wat er reilt en zeilt in het ziekenhuis omdat ik de informatie die verspreid wordt, te weinig lees . 

VOORBEELD: ARTSEN (INTERNE COM)

44

Met deze uitspraak ga ik… Helemaal niet

akkoord

Niet akkoord

Min of meer

akkoordAkkoord Volledig

akkoord

Weet niet/geen mening

Ik ken de bevoegdheden van de wettelijke comités. 

Ik weet op voorhand welke onderwerpen besproken zullen worden in de wettelijke comités. 

Als een onderwerp mij aanbelangt, neem ik zelf het initiatief om mijn visie kenbaar te maken aan de leden van het betrokken comité. 

Ik weet op welke wijze de beslissingen genomen worden in de wettelijke comités. 

Een beslissing genomen in een wettelijk comité neem ik ter harte en pas ik toe in mijn praktijk. 

Ik neem een beslissing van een wettelijk comité enkel ter harte als de directie aanwezig was bij de bespreking. 

Ik neem een beslissing van een wettelijk comité enkel ter harte als ze ondertekend is door de directie. 

VOORBEELD INTERNE COM

45

 

Ik vind dit een belangrijk communicatiekanaal.

 

Dit communicatiekanaal wordt voldoende gebruikt

in het ziekenhuis. 

Ja Neen Ja neendagelijkse briefing dienstvergadering diensthoofdenvergadering persoonlijk gesprek met collega-diensthoofden of de departementele directeur

werkgroepen logboek dienstnota’s verslagen directiemededelingen intranet e-mail andere:……………………………………

VOORBEELD INTERNE COM

46

• Tips (www.sondz.nl) − 1) gebruik niet de standaard grijze kleuren in Excel− 2) gebruik grafieken waarbij u duidelijk de resultaten

kunt laten zien en niet teveel ruimte gebruikt − 3) vermeld altijd het aantal waarnemingen (bv: n=300 als de

grafiek op 300 waarnemingen is gebaseerd)

− 4) lettertype van labels moeten groot genoeg zijn (wanneer deze van excel naar ppt of word worden gekopieerd)

− 5) bij 5-puntenschaal: voeg uiterste categorieën samen− 6) gebruik voor positieve (schaal)waarden bij voorkeur

de kleur groen en voor negatieve (schaal)waarden de kleur rood

VISUEEL VOORSTELLEN VAN DATA

47

1 algemeen oordeel

2 kwaliteit pizza's

3 variëteit menu

4 vriendelijkheid personeel

5 prijs/kwaliteit verhouding

6 snelheid bediening

1 2 3 4 5

3.6

3.5

3.0

3.5

3.1

3.3

Wat vindt u van dit restaurant mbt: n = 300 respondenten

48

1 algemeen oordeel

2 kwaliteit pizza's

3 variëteit menu

4 vriendelijkheid personeel

5 prijs/kwaliteit verhouding

6 snelheid bediening

50%

42%

19%

44%

42%

46%

45%

52%

62%

44%

24%

31%

5%

6%

19%

12%

34%

23%

Wat vindt u van dit restaurant mbt:

uitstekend/zeer goed goed matig/slecht

n = 300 respondenten

49

1 algemeen oordeel

2 kwaliteit pizza's

3 variëteit menu

4 vriendelijkheid personeel

5 prijs/kwaliteit verhouding

6 snelheid bediening

50%

42%

19%

44%

42%

46%

-5%

-6%

-19%

-12%

-34%

-23%

Wat vindt u van dit restaurant mbt:

uitstekend/zeer goed matig/slecht

n = 300 respondenten

50

51

BALKO BALLO BALLOA BALSO BBrBV BM COM IM IV JOU OM TRM VIA VPK0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Tevredenheid mogelijkheden internationale ervaring

Tevreden Helemaal tevreden

52

VRAGEN?