Effecten metenMarijke De Roeck

2

Overzicht

- Uitgangspunten- Werkwijze

- Methodieken- Steekproeven- Analyse

- Meten op verschillende niveaus- Vragenlijsten- Wat met de resultaten?

3

Uitgangspunten

- In kader van principes van behoorlijk bestuur, nagaan of budgetten goed besteed zijn

- Jaarlijks verschillende effectmetingen, marktonderzoeken: campagnes, communicatiekanalen, dienstverlening indien mogelijk nul- en éénmeting

NB- Alle onderzoek is communicatie

4

Enkele definities

- monitoren en evalueren

- proces- en productevaluatie

- output- en outcome-evaluatie

- kwalitatief en kwantitatief evalueren

5

Werkwijze: organisatie

- De stad Antwerpen heeft een eigen onderzoekscel binnen marketing & communicatie en een dienst stadsobservatie, die samen een aantal taken in het onderzoeksproces uitvoeren

- Een aantal opdrachten worden uitbesteed aan marktonderzoeksbureaus

6

Werkwijze: stappen onderzoeksproces

1/ Design fase: onderzoeksplan, sampling design, data collectie design, vragenlijst design onderzoekscel en dienst stadsobservatie, al dan niet in samenwerking met een onderzoeksbureau

2/ Uitvoerende fase: implementatie, rekrutering en datacollectie uitbesteed aan een marktonderzoeksbureau

3/ Kennisoverdrachtfase: analyse en rapportering uitbesteed aan een bureau + deel analyse door onderzoekscel en dienst stadsobservatie

7

Werkwijze: methodieken

- Combinatie van schriftelijke, telefonische en online enquêtes- Indien mogelijk en relevant: ook face-to-face interviews- Eventueel ook focusgroepen met moeilijk bereikbare

doelgroepen (allochtonen, kansarmen, jongeren,…)

zo representatief mogelijk staal van de doelgroep bereiken en betrekken bij de evaluaties

- Opbouw van een stedelijk onderzoekspanel

permanente monitoring + pretests

8

Werkwijze: steekproeven

- Postale enquêtes: dienst stadsobservatie levert representatieve steekproef vanuit bevolkingsgegevens 10.000 bewoners worden aangeschreven om een steekproef van 1.100 respondenten te verkrijgen port betaald door bestemmeling om respons te vergroten

- CATI: steekproef wordt getrokken door het marktonderzoeksbureau

- Online: via bestaande onderzoekspanels van marktonderzoeksbureaus

9

Werkwijze: analyse

In principe hebben we op globaal niveau slechts 3 vragen te beantwoorden:

- Heeft deze campagne gewerkt? (doelstellingen bereikt)- Hebben we de campagne technisch goed uitgevoerd?

(juiste media, likeability campagne)- Kunnen we de resultaten van dit onderzoek voldoende

vertrouwen? (representatief, valide, betrouwbaar)

10

Meten: hoe operationaliseren?

- Campagnes en communicatiekanalen: bereiken we de beoogde doelstellingen en doelgroepen?

- Doelstellingen steeds geformuleerd op verschillende niveaus: - kennis (ook herinnering campagne)- mening/attitude- tevredenheid- gedrag- imago

11

Meten van impact op verschillende niveaus

EVALUATIE[Campagne] –

[publicatie] – [kanaal]

MEDIA[kanalen mix]

BEREIK GEBRUIK

“Wij - gevoel”STAD

Wie kent welke [...]

Wie gebruikt wat, frequentie

Effectmeting [...]

Media planning

Missie bereikt?

Voorkeur City likeabilitywonen-werken-ontspannen-..

Fierheid... attributie waarden

KENNIS

GEDRAG

LIKEABILITY

IMAGO

PROFIELresp – burger -doelgroep - klant

Van [...] doel bereikt?

Effect van [...] doel bereikt?

Goed gemaakt [...] doel bereikt?

tevredenheid, vertrouwen van...

attributie waarden

segmentatie:effect , gebruik media, missie bereikt ?

12

Vragenlijsten

- Vaste structuur voor vragenlijsten met meting op de verschillende niveaus: kennis, mening, likeability, gedrag, imago, tevredenheid, mediagebruik

- Deel vaste vragen met als doel permanent te monitoren- Deel variabele vragen, specifiek per campagne of kanaal- Doel op lange termijn is nagaan of de algemene doelstelling

van marketing & communicatie, het wij-gevoel versterken, gehaald wordt

13

Voorbeelden: kennisvragen

- Kent u uw wijkagent? - Kent u de slogan?

- Herkent u dit beeld?- Wie voert promotie met dit beeld?

- Kent u het project Park Spoor Noord?

14

Voorbeelden: mening/attitudevragen

Geef aan op schaal (helemaal niet eens - … - helemaal mee eens)

- De (rekruterings)campagne is een goede weergave van het beeld dat ik heb van de politie van Antwerpen

- De campagne ‘De wijkagent is er voor A’ is een nuttige campagne

- Ik krijg voldoende informatie over de activiteiten in de stad

- Het is goed dat de stad dit soort van evenementen (kerstmarkt enz) organiseert om de stad Antwerpen te promoten

- Antwerpen is een sportstad

15

Voorbeelden: likeabilityvragen

- Welke woorden passen bij deze advertentie?sfeervol, uitnodigend, confronterend, …

- Het boekje Werf van de eeuw, Antwerpen van A tot Z vond ik… goed gemaakt/origineel/nuttig/duidelijk/…

- Ik vind het aangenaam om in de stad Antwerpen te wonen.

16

Voorbeelden: gedragsvragen

- Wat hebt u met het boekje Werf van de eeuw gedaan?

- Hebt u de folder van de wijkagent bijgehouden?

- Wat hebt u met het naamkaartje van de wijkagent gedaan?

- Was u aanwezig op de volgende evenementen: Kerstmarkt, ijspiste, enz?

17

Voorbeelden: mediavragen

Bereik/gebruik media:- Waar hebt u de advertenties van “Feest in ‘t stad, iedereen

doet mee” gezien?- Hebt u de TV-spot van “Er zit sport in A” gezien?

18

Voorbeelden: imagovragen

- Duid voor elk van de kenmerken aan in welke mate deze passen bij het beeld dat u hebt van de stad Antwerpen…dynamisch, stijlvol, gezellig, professioneel, … (past wel/niet)

- Geef aan in welke mate u het oneens of eens bent met de volgende stelling:- Deze campagne geeft de politie een positief imago

19

Voorbeelden: tevredenheidsvragen

- Hoe tevreden bent u over uw wijkagent ? Zeer tevreden, eerder tevreden, noch tevreden noch ontevreden, eerder ontevreden of zeer ontevreden ?

- Hoe tevreden bent u over het feit dat de politie wijkagenten inzet?

- Vindt u over het algemeen dat de politiediensten werk leveren? Heel goed - … - heel slecht

20

Voorbeelden: tevredenheidsvragen

21

Aan de slag met de resultaten

- interne communicatie over de resultaten en conclusies van het onderzoek

- met als doel:- kennisopbouw- optimalisering van mediaplanning- optimalisering van communicatiestrategieën- optimalisering van dienstverlening

Aan de slag in uw gemeente of stad