Waarom komen mijn bezoekers niet overeen met mijn bezoekers?

WAA taskforce online media over de verschillen tussen web analytics, STIR en ad management statistieken

Waarom komen mijn bezoekers niet overeen met mijn bezoekers?

WAA taskforce online media over de verschillen tussen web analytics, STIR en ad management statistieken

Herkenbaar?

“Ik heb twee web analytics pakketten in gebruik. Er zitten allerlei verschillen in de statistieken. Hoe kan dat en wat moet ik hier mee?”

Herkenbaar?

“Mijn web analytics pakket geeft hele andere statistieken dan mijn ad management systeem. Hoe ga ik daarmee om?”

Herkenbaar?

“Als ik de bereikcijfers van STIR bekijk, dan komt dat niet overeen met wat ik meet met mijn web analytics pakket. Hoe komt dat en wat communiceer ik naar wie?”

WAA taskforce online media

• DOEL: De verschillen tussen meetsystemen onder de loep nemen en een handvat bieden om hier mee om te gaan.

• Opgericht in mei 2008• Periodieke sessies voor kennisuitwisseling• Diverse gesprekken met externe partijen (TNO, DQ&A,

STIR)

WAA Taskforce Online Media:

Marije Andela (NPO)Jaap van de Bovenkamp (Kluwer)Sonja Kamst (Sky Radio Group)Tamara van Uden (RTL Nederland)Wouter Veenboer (Netprofiler)Pieter Zandstra (Nedstat)

Agenda

1. Inleiding white paper2. Meetverschillen Web Analytics3. Meetverschillen Ad Management4. Meetverschillen STIR5. Conclusies en aanbevelingen

1. Inleiding White Paper1. Inleiding White Paper

Doel van de white paper

Inzicht verschaffen in de meetverschillen en verhoudingen binnen de volgende driehoek:

Onderzoeksvragen

1. Hoe verhouden deze webstatistieken zich ten opzichte van elkaar?

2. Wat zijn de oorzaken van de verschillen in uitkomsten?

3. Welke data zijn in welke situaties en voor welke doelgroepen van belang?

2. Meetverschillen Web Analytics2. Meetverschillen Web Analytics

Meetverschillen Web Analytics

Verschillen tussen WA-pakketten:TNO, Verschillen in Web Analytics (2009)

• Aantallen liggen soms tientallen procenten uit elkaar.• Verschillen zijn niet identiek voor visitors, visits,

pageviews, etc.• Over meetperiodes heen zijn de onderlinge verschillen

vrij constant.

Meetverschillen Web Analytics

Waar komen verschillen vandaan?Jim Sterne, Web Analytics Shoot Out (2007)

Belangrijkste:• Implementatie• Verschil in meettechniek (javascript, logfile, etc.)• Definities (wat is bijv. een unieke bezoeker?)

Overig:• Cookies / IP identificatie• Verschillen in meetscope• Filtering verkeer• Browserinstellingen• Caching

Meetverschillen Web Analytics

Hoe gaan we om met deze meetverschillen?

– Gebruik web analytics zo min mogelijk om absolute aantallen te communiceren waar ad management pakketten of STIR anders laten zien.

– Vergelijk geen cijfers uit andere perioden die gemeten zijn met andere web analytics pakketten.

– Communiceer web analytics data intern en zo min mogelijk extern.

Meetverschillen Web Analytics

Waarvoor gebruiken we web analytics dan wel?

– Volgen van trends en relatieve waarden– Verbeteren van website en marketinginitiatieven

Oftewel: het tot stand brengen en monitoren van optimalisatie en groei.

3. Meetverschillen Ad Management3. Meetverschillen Ad Management

Meetverschillen Ad Management

Ad management systemen ondersteunen:

Voorraadplanning, sales, inboeken, serveren en rapporten.

Meetmethodiek:

Meetverschillen Ad Management

Verklaring verschillen met web analytics:

Overlap met verklaringen tussen WA-pakketten:• Verschillen in meetscope• Definities• Filtering verkeer• Acceptatie javascript• Caching

Unieke verklaringen:• Bannerposities en pageviews lopen niet 1-op1• Adblockers (rond de 5%, zie case Sky Radio)• Meetmoment (zie case Sky Radio)• Gebruik van frames

Case: Sky Radio

Unieke bannerpositie op de online player pagina

Case Sky Radio: Ad Blockers

1. Mogelijke verklaring door Ad Blockers:

Het lagere aantal impressies is in lijn met de genoemde 5% van de gebruikers die een Ad Blocker gebruiken.

Pageviews player pagina (Sitestat) 630.089

Impressies rectangle positie in player (DART) 591.809 (94%)

Case Sky Radio: Meetmoment

2. Mogelijke verklaring door meetmoment:

Ad management systemen hanteren een eigen manier van meten:

• Als verzoek bij de admanager binnenkomt• Als verzoek bij de adserver binnenkomt• Als de uiting compleet is ingeladen

Case Sky Radio: Meetmoment

• 23 (!) stappen om de pagina te laden• In totaal 4,41 seconden

• Eerst ad.nl.doubleclick.net• 4 stappen later teruggekoppeld door DART• 10 stappen later wordt deze pas geserveerd• 3 stappen later wordt Sitestat code aangeroepen

Ad Management: conclusies

Gebruik informatie uit Ad management systemen om de volgende vragen te beantwoorden:

• hoeveel impressies genereert een bepaalde positie?• hoeveel impressies zijn er nog beschikbaar?• hoeveel impressies zal een nieuwe campagne genereren op basis

van targeting- en frequentie-instellingen?• hoeveel impressies zijn er geleverd van een bepaalde campagne?• wat was de click through rate?

4. Meetverschillen STIR4. Meetverschillen STIR

De onderzoeken van JIC STIR

1. Establishment Survey (elk halfjaar)a. IJkonderzoek voor de Webmeterb. Bron voor standaarddata m.b.t. internetconsumptie

2. Internet Marktmonitor (elk halfjaar)a. Benchmarkonderzoek voor de Webmeterb. Alle websites i.p.v. alleen STIR-aangesloten sites

3. Webmeter (maandelijks) a. Online bereiksonderzoek dat als standaard dient in

de Nederlandse marktb. Gedetailleerde informatie per website/channel over

netto bereik, GCF en bezoekersprofiel

Webmeter

• Representatief geselecteerd panel (n=10.000, NL 13+)• Uitgebreide registratie achtergrondkenmerken• Registratie van het surfgedrag per online panellid vanaf

elke locatie (thuis, werk, school/universiteit, onderweg en elders)

• Registratie van surfgedrag naar websites in de loop van de tijd

Doel: online bereikcijfers ten behoeve van mediaplanning

Meetverschillen STIR <-> WA

STIR Nederlanders, 13+ Persoonsniveau (user centric)

Extrapolatie dus schatting Meting d.w.v. STIR meetcode Voor sommige

doelgroepen/sites minder betrouwbaar

Web analytics Wereld, 0+ Cookie-meting (site centric) ‘Echte’ data Meting d.w.m. WA meetcode Geen last van ‘panelbias’ of

incorrect aanmeldgedrag

STIR: unieke bezoekers

Sitestat: unieke bezoekers

Factor Sitestat vs STIR

Publieke Omroepnovember 2009 8.154.000 19.457.698 2,4

Gebruik resultaten

STIR Web Analytics

Bereik & unieke bezoekers Bezoekers (cookies) & pageviews

Bezoekersprofielen Detailinformatie surfgedrag

Grotere sites (>150.000 bezoekers)

Kleinere sites & sites met veel jong of buitenlands publiek

Website-bereik Alle webcontent (incl. video, mobiel)

Concurrentie-analyse (Dagelijkse) bijsturing content eigen product

5. Conclusies en aanbevelingen5. Conclusies en aanbevelingen

Verklaring verschillen (samenvattend)

Standaarden: onderzoeksvraag bepaalt bronOnderzoeksvraag/- resultaat Bron

1 Voorraad (inventory online advertenties) Ad management2 Campagnebereik en -effect Ad management & web

analytics3 (Sub)onderdelen websites, surfgedrag en trends Web analytics4 Webcontent, anders dan ‘fixed’ websites Web analytics

5 Pageviews webcontent Web analytics6 Traffic vanaf andere websites / platforms (referrers) Web analytics7 Streaminformatie (aantal, kijkduur etc.) Web analytics8 Real-time analyse Web analytics9 Informatie kleine en niche sites Web analytics10 Bereik websites (NL 13+) STIR11 Bezoekersprofiel STIR12 Concurrentie-analyse STIR13 Gemiddelde contactfrequentie bezoekers STIR14 Terugkerend bezoek STIR

Adviezen

• vermeld duidelijk bron & definitie• begrijp & verklaar continu de verschillen• vergelijk de pakketten niet onderling, maar

kijk naar trends• zorg dat implementatie meetcodes zoveel

mogelijk 1-op-1 loopt

Communicatie

• White Paper vanaf heden te downloaden via www.waa-nederland.nl (Engelse vertaling volgt)

• Persbericht• Informatie-uitwisseling & discussie op

bijeenkomsten, congressen, in onderzoekscommissies, bij IAB, WAA etc.

Roep om transparantie, consistentie & standaarden (zie ook www.miaproject.org)