Feiten, fabels en verwachtingen

Verschillen in Web Analytics

maart 2009 – Almerima Jamakovic, Bart Gijsen, Martijn Staal

2

Inhoud

InhoudInhoud

WA data analyseWA data analyse

WA test in gesloten omgevingWA test in gesloten omgeving

ConclusieConclusie

Doel van het projectDoel van het project

• aanleiding: WA verschillen wat is waar?

• validatie van gangbare opinies m.b.t. WA verschillen• welke afwijkingen zijn acceptabel’?

• toelichting testomgeving• geverifieerde oorzaken van afwijkingen• geconstateerde oorzaken

3

Doel van het project

• Klant en/of bureau merken grote verschillen in statistiekmetingen bij bijvoorbeeld:

• Migratie naar ander WA pakket• Toepassing STIR naast WA • Afrekenen van bannercampagne (DART)• Verkoop website

• Doelen WA project:• Inzichtelijk maken van verschillen en

manier waarop WA metingen uitvoeren• Geef houvast in discussie over verschillen: wat zijn ‘reële

afwijkingen’

Welke gegevens zijn waar?

Wanneer zijn de data betrouwbaar?

4

Overzicht van de deelnemers & betrokken partijen

• Projectteam:

• Deelnemers data benchmark & gesloten test:

• Betrokken mediapartijen:

• Indirect betrokken:

+ Nederlandse kabelmaatschappij

5

Aanpak: data analyse en test in gesloten omgeving

• Tijdens de WA data analyse worden statistiekendata van externe websites vergeleken en geanalyseerd op verschillen

• Websites met meerdere webstatistiekpakketten leveren data• TNO analyseert• Doel: inzicht in ‘acceptabel’ niveau van verschillen

• Tijdens de test in gesloten omgeving worden oorzaken van verschillen verder onderzocht

• Gesloten website wordt gebruikt waarbij het verkeer met tool Selenium te reguleren is

• Sessies en variabelen zoals IP-adressen, browser types e.d. zijn door TNO in te stellen

• Doel: oorzaken van verschillen verder uitdiepen

6

Inhoud

InhoudInhoud

WA data analyseWA data analyse

WA test in gesloten omgevingWA test in gesloten omgeving

ConclusieConclusie

Doel van het projectDoel van het project

• aanleiding: WA verschillen wat is waar?

• validatie van gangbare opinies m.b.t. WA verschillen• welke afwijkingen zijn acceptabel’?

• toelichting testomgeving• geverifieerde oorzaken van afwijkingen• geconstateerde oorzaken

7

WA Data Analyse

√

STIR

√

HBX

√Typhone

√√√Ilsemedia-x

√

√

√

Sitestat

√

Webtrends

√

Speed Trap

√

√

√

√

Google Analytics

√

Kabeloperator

TNO.nl

Univé.nl

Agis

DARTWebsite

• Vergeleken WA metrics zijn: visits, visitors en page views • op dag, week en maandniveau

•Doel: inzicht in welke verschillen acceptabel zijn

• Analyse webstatistieken data van meerdere websites

• Vergelijking Google, Sitestat, Webtrends, STIR en DART data

8

Vragen & hypotheses voor WA data analyse

• WA pakketten op dezelfde website genereren afwijkende waarden?

• Afwijkingen tussen WA pakketten zijn website specifiek?

Welke procentuele afwijking is reëel?

• Meerwaarde WA output zit in relatieve waarden en trends; niet in absolute waarden?

• Wat is de relatie tussen WA, STIR en DART?

9

Hoofdvraag: welke procentuele afwijking is reëel?

Zijn WA metingen Normaal verdeeld?

-2

-1,5

-1

-0,5

0

0,5

1

1,5

2

-1,5 -1 -0,5 0 0,5 1 1,5

Visitors (AdvancedMD)

Page view s (AdvancedMD)

Ja, WA output waarden zijn Normaal verdeeld!

Parameters van Normale verdeling hangen af van:

• website (content, structuur, technologie, …)• WA metric (visitors vs. page views)

Observatie: er is een vrij duidelijke bovengrens op de genormaliseerde maat voor spreiding van WA verschillen ( = variatiecoëfficiënt )

So what ???

1. Het feit dat verschillen Normaal verdeeld zijn impliceert dat verschillen veroorzaakt worden door een veelheid, van elk op zich niet-dominante oorzaken

2. Dit geeft de basis voor concrete vuistregels m.b.t. ‘acceptabele afwijkingen’• zie volgende slide

QQ plot tno.nl data

-1,2

-0,8

-0,4

0,0

0,4

0,8

1,2

-0,70 -0,35 0,00 0,35 0,70

Visits Page viewsVisitors

Zijn WA metingen normaal verdeeld?

10

Dus … welke procentuele afwijking is reëel?WA checklist voor implementatie en betrouwbaarheid• Constaterende dat

a. verschillen in WA Normaal verdeeld zijn en • voor alle aangeleverde data en die uit literatuur [Shootout] geldt ditb. dat de “variatiecoëfficiënt” < 0.1 (= maat voor verschillen WA data)• voor bijna alle aangeleverde data en die uit literatuur [Shootout] geldt dit

• Dan gelden de volgende vuistregels als ‘acceptabele afwijking’:

• en … het aantal bezoekers, bezoeken, page view heeft hierop geen invloed• en … deze procentuele afwijkingen schalen lineair in de variatiecoëfficiënt

32,4%19,7%4

34,7%22,5%5

36,6%24,7%6

29,0%15,8%3

23,2%9,5%2

Max-Min afwijking zelden(1 op 10) groter dan …

Max-Min afwijking meestal(1 op 2) niet groter dan …

Aantal WA pakketten

Anders is sprake van een

verkeerde implementatie!

11

Praktijk toets: configuratiefouten identificeren

Afwijking pageviews tussen Sitestat en GA

-45,0%

-40,0%

-35,0%

-30,0%

-25,0%

-20,0%

-15,0%

-10,0%

-5,0%

0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

1-8-2008 1-9-2008 2-10-2008 2-11-2008 3-12-2008

Proc

entu

ele

afw

ijkin

g

(Sitestat - GA)%, PV per dag

(Sitestat - GA)%, PV per week

(Sitestat - GA)%, PV per 4-weken

meestal < 9,5%

zelden > 23,2%

incident waardoor één tag niet runt

GA tags waren niet op alle pages

geplaatst

Er is een maximum afwijking aan te geven voor ‘acceptabele afwijking’ WA data

Afwijkingen groter dan deze waarden duiden op configuratieverschillen / technische problemen / … In dat geval is interpretatie-verschil van WA data misleidend en dient onderzocht te worden

12

Relatie WA output en STIR, DART

• OPMERKING: doel van STIR en DART is niet hetzelfde als van Web Analytics

• daarom zijn b.v. meetmethodiek en metrics anders

• Studie Nedstat / Intomart:• “weersta de verleiding om te vergelijken”

13

Relatie WA output en STIR

Voorbeeld: aantal ‘visits’ (genormaliseerd)

Absolute aantallen WA en STIR onvergelijkbaar (vanwege statistische opschaling)

Trend komt iets meer overeen, maar niet zo goed als tussen WA pakketten

Trendvergelijking WA and STIR

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

jul-09 jul-09 aug-09 sep-09 okt-09 nov-09

Gen

orm

alis

eerd

e vi

sits

aant

alle

n

Google AnalyticsSitestatSTIR

14

Relatie WA output en DART

Voorbeeld: aantal page views versus som van deliveredimpressions (genormaliseerd)

Absolute aantallen WA en DART minder vergelijkbaar dan WA pakketten onderling

Trend komt iets meer overeen, maar niet zo goed als tussen WA pakketten

Trendvergelijking WA en DART

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

jul-09 aug-09 sep-09 okt-09 nov-09 dec-09

Gen

orm

alis

eerd

e PV

/ im

pres

sion

s aa

ntal

len Google Analytics

SitestatDART

15

WA verschillen: conclusies uit de data analyseWA pakketten op dezelfde website genereren afwijkende waarden

aantal soms tientallen % uit elkaarverschillen niet identiek voor visitors, visits, page views, …over meetperiodes heen zijn de onderlinge verschillen vrij constant

Afwijkingen tussen WA pakketten zijn website specifiek

• Een maximum voor ‘acceptabele afwijking’ van WA data is aangegeven

Meerwaarde WA output zit in relatieve waarden en trends; niet in absolute waarden

• WA en STIR / DART niet vergelijkbaar • trends tonen wat meer overeenkomst

16

Inhoud

InhoudInhoud

WA data analyseWA data analyse

WA test in gesloten omgevingWA test in gesloten omgeving

ConclusieConclusie

Doel van het projectDoel van het project

• aanleiding: WA verschillen wat is waar?

• validatie van gangbare opinies m.b.t. WA verschillen• welke afwijkingen zijn acceptabel’?

• toelichting testomgeving• geverifieerde oorzaken van afwijkingen• geconstateerde oorzaken

17

Opzet gesloten testomgeving: de website

• Content:• homepage (na redirect)• 2 toelichtingpages (met

‘back’ button)• 4 rapportages ( SQL)• Invoerscherm ( SQL)• Login

• Technologie:• Tomcat server• jsp-pages• geen frames / flash / …• (MySQL database)

18

Opzet gesloten testomgeving: de website

• Voor ieder pakket is JavaScript geïnstalleerd op de pages van de WPM website:

• Google Analytics, Sitestat, Webtrends• alle pakketten gebruiken 1st party cookies en worden simultaan

gebruikt• we weten het browsinggedrag op de website => exacte aantallen zijn

bekend

• Gedurende een deel van de testperiode werd robot-traffic naar de website gestuurd

19

Opzet gesloten testomgeving: Verkeer en test cases

• Handmatige expert review• doel: zoeken naar ‘te verwachten afwijkingen’

• Geautomatiseerde browsing sessies met Selenium• doel: zoeken naar niet-reproduceerbare verschillen• tests worden herhaald met andere browser / server settings

• cookies weggooien zodra browser sluit• tag-placement boven / onder, volgorde• browsing met IExplore / Firefox

• Vergeleken worden de traffic numbers: • visits, visitors en page views

20

Onderzochte verklaringen van afwijkingenFactoren van invloed

op meting web metrics

Browser Webserver / -site WA pakket

Settings:• Ondersteuning script-talen• Pop-up, spyware blocking

Double / not counting page views:• refresh, back-pijl, page anchors• wegklikken vóór complete download

Type browser (IE, Firefox, etc.)• niet iedere browser werkt hetzelfde• bv IE cookies beperkt tot 20/ domein

Double counted page views: • Redirects

Configuratie:• server logging settings• robot.txt

Eigen / 3rd party website

Proxy server caching (b.v. ISP of Internet koppeling)

Tag placement:• top / bottom• alle pages getagd• tags inline geplaatst

Filtering ‘bot’ traffic, pages with errors

Pages / experiences (e.g. Flash, streaming)

Sessie time-out waarden en datumoverschrijding

Gepersonaliseerde URLs kunnen dezelfde page view betreffen

Sessie definitie: • time-outs (b.v. log-in op website)• geldigheidsduur cookie

Settings:• (3rd party) Cookies verwijderen

Data collectie o.b.v. runnen

tags

Data correlatie t.b.v.

visits / visitors

Legenda:Rood = niet onderzocht in gesloten omgevingGroen = onderzocht in gesloten omgevingGrijs = niet van toepassing

21

Opzet gesloten testomgeving: voorbeeld testje

Constateringen uit deze test:• onvolledig geladen pages en foutieve URLs worden niet meegeteld door WA

pakketten (URLs met response code ≠ ‘OK’ kùnnen geteld worden, mits getagd) • sessie time-out na 30 minuten => 2 visits• GA geeft op deze dag een visit te veel aan …• deze keer werkt datum overgang goed …

Tijd Browse actie Logfile WA pakketten23:05:00 in browser url van homepage ingetypt23:05:05 rapportage gebruiksbeschikbaarheid aangeklikt23:05:10 back-pijl; homepage wordt geladen Niet meegeteld WT23:05:12 rapportage gebruiksbeschikbaarheid aangeklikt23:05:13 back-pijl voordat pagina geladen wordt deel in logfile; Geen enkele pakket telt

(browser gaat van homepage terug naar startpagina) geen complete download deze als page view23:05:15 sluit browser af

23:15:00 in browser url van homepage ingetypt23:15:05 rapportage gebruiksbeschikbaarheid aangeklikt23:15:30 back-pijl; homepage wordt geladen Niet meegeteld WT23:15:35 rapportage gebruiksbeschikbaarheid url ingetypt met van beide browse acties Geen enkele pakket

typefout in query-string komt deel in logfile; telt deze 23:15:40 refresh geen complete download als page view

23:50:00 rapportage gebruiksbeschikbaarheid url ingetypt (correct) Gezien als nieuwe visit 0:05:00 refresh in logfile op 5 mrt Wordt niet meegeteld op0:05:05 sluit browser af 4 mrt

22

Overzicht van een testweek

Uitmiddelingeffecten over de werkweek periode:• datumovergang middelt uit • GA en Logfile visits zijn gelijk, terwijl ze op 2 van de 5 dagen verschillen

Page views GA Sitestat Webtrends Logfile Bijzonderheden28-2-2009 25 25 20 25 WT rapporteert één pageview per sessie minder (back-pijl), wèl als hit geteld

1-3-2009 30 30 28 30 WT rapporteert één pageview per sessie minder en heeft één visit (rond 0:00 uur) te veel die op 1 mrt i.p.v. 2 mrt wordt meegeteld

2-3-2009 50 50 15 553-3-2009 16 16 13 16 WT rapporteert één pageview per sessie minder (back-pijl), wèl als hit geteld4-3-2009 71 71 58 74 Alle pakketten rapporteren de niet complete download en incorrecte URL niet;

WT rapporteert één PV per sessie minder en mist nog twee PV in laatste sessieTotaal 192 192 134 200

Visits GA Sitestat Webtrends Logfile28-2-2009 5 5 5 5

1-3-2009 6 6 7 6 WT rapporteert één visit rond 0:00 uur te veel die op 1 mrt i.p.v. 2 mrt wordt meegeteld2-3-2009 10 10 4 11 (zie visitors)3-3-2009 2 2 2 24-3-2009 12 11 11 11 GA meldt een visit te veel

Totaal 35 34 29 35

Visitors GA Sitestat Webtrends Logfile28-2-2009 5 5 5 5

1-3-2009 6 6 7 6 WT rapporteert één visitor te veel die op 1 mrt i.p.v. 2 mrt wordt meegeteld2-3-2009 10 10 3 11 GA, Sitestat en Webtrends missen allen één 'losse' visit tussen 11-12 uur;

(waarschijnlijk een Selenium sessie met IExplore die niet geheel werkte). Daarnaast mist WT vanaf tussen 2 en 3 uur de resterende visits (server te druk?)

3-3-2009 2 2 2 24-3-2009 10 10 10 10

Totaal 23 23 17 24

23

Constateringen uit gesloten testomgeving

• Visitssessie time-out waarde alle pakketten is 30 minutenverwijderen van cookies tot nieuwe bezoeker voor alle WA pakketten

• Datum overgang× niet alle server klokken blijken gesynchroniseerd …

een visit die ‘door 0:00 uur loopt’ wordt in beide dagen meegeteld • Back button, refresh, redirects

× WT telt back-button en refresh als enige pakket niet mee; redirects welautomatische redirects wordt gezien als één page view door ieder WA pakket

• Snel klikken / foutieve URLsgeen van de pakketten telt deze mee

• Filtering van bot-traffic is niet helder geworden× van WA en logfile gegevens is goed te achterhalen wat er gebeurt is, behalve

in de periode dat bot-traffic was aangezet• Browser typen

één IExplore 6.0 visit is geheel aan alle tags ‘ontsnapt’× Data analyse: soms runt WA script niet op (minder vaak gebruikte) browser

Legenda:√ = veroorzaakt geen verschillen in gesloten omgeving× = veroorzaakt wel verschillen in gesloten omgeving

24

Je moet je best doen om verschillen te ‘creëren’, d.w.z. in de basis werken alle pakketten hetzelfde.

Verschillen zitten in de (vele) details!

Conclusie gesloten testomgeving

25

Inhoud

InhoudInhoud

WA data analyseWA data analyse

WA test in gesloten omgevingWA test in gesloten omgeving

ConclusieConclusie

Doel van het projectDoel van het project

• aanleiding: WA verschillen wat is waar?

• validatie van gangbare opinies m.b.t. WA verschillen• welke afwijkingen zijn acceptabel’?

• toelichting testomgeving• geverifieerde oorzaken van afwijkingen• geconstateerde oorzaken

26

Eindconclusie WA verschillen

• Verschillen in WA statistieken zijn een ‘fact of life’• iedereen ziet het; niet iedereen maakt zich er even druk om• verschillen zijn niet éénduidig, niet algemeen geldend• WA verschillen zijn continue in de tijd (afgezien van configuratiewijziging/incidenten)• verschillen hebben veel minder invloed op de trends

• Er is een range aangegeven voor ‘reële’ procentuele WA data verschillen• afwijkingen groter dan deze duiden op configuratieverschillen / incidenten

• Data uit WA en STIR / DART zijn niet vergelijkbaar• absolute waarden WA en STIR / DART zijn niet te vergelijken• trends tonen iets meer overeenkomst, maar zelfs deze komt niet helemaal overeen

• Verklaring van oorzaken …• WA pakketten zijn in de basis hetzelfde, die in principe dezelfde getallen geven• de verschillen zitten in (vele) details !

27

Afronding project & vervolg

• Presentatie op WAA congres• woensdag 25 maart 2009, http://waanetherlands.wordpress.com/

• Publicatie op Marketing Facts

• Persbericht TNO.nl en websites deelnemers

• Contact over resultaten met Eric Enge (StoneTemple, auteur Shootout) en Eric Peterson (Analytics Demystified)

28

Vragen?martijn.staal@tno.nl

06 51916237

bart.gijsen@tno.nl06 53725218