A/B TESTING & PERSONALISATIEDE SNELSTE MANIER NAAR STRUCTUREEL SUCCES

21 april 2016Rick Weij

Rick Weij8 jaar werkzaam in onlineSEA, SEO, contentTag management, web analyticsCRO, personalisatie, usability

Sinds 2012 bij Tele2 als web analist

Opgericht in 1993Actief in 9 landen

850.000 mobiele klanten400.000 breedband klantenEigen glasvezel en 4G netwerk

Data evolutie

Online Toolkit

Van data naar insightsClickstream

Multiple Outcomes

Experimentation & Testing

Voice of Customer

Competitive Intelligence

Insights!

•Google Analytics Premium

•Clicktale

•Maxymiser

•Userzoom

•Google Trends•GFK

Intro CRO 1. Business

case

2. Test uitvoeren

3. Winnaar implementere

n

4. Proces evalueren

Business case•Wat zijn de doelstellingen en prio’s?•Hoe vertaal je dit naar funnels/journeys?

Waarom bestaat jouw website?

•Op basis van de doelstellingen•Hoeveel tests kan je simultaan uitvoeren?Definieer product streams

•Waar zitten de grootste problemen?•Welke pagina/element/functionaliteitAnalyseer de streams

•Creeër een hypothese per test & test variant•Wat is de doelstelling van de test?Definieer tests per stream

•Backlog met alle optimalisatie items•Prioriteer op gain/effort, traffic en conversie in streamCreeër test backlog

•Per test een volledige documentatieDocumentatie

Business case

Backlog management & test hypotheses– Houd een backlog bij van alle

optimalisatie ideeen – Laat de organisatie ideeen

genereren– Ideeen categoriseren en

prioriteren– Hoe groter de aanpasssing, hoe

groter de impact– Gebruik LIFT model voor

creeeren van hypotheses

Test backlogIdea Stream Element/

pageDesktop/Touch

Effort Gain Diff

Idea 1 Handset Configuratie Touch 10 40 30

Idea 2 Sim Only Orderflow Beide 40 60 20

Idea 3 DSL Landingspagina

Beide 25 45 20

Idea 4 DSL Configuratie Touch 40 55 15

Idea 5 Mijn Tele2 Login Desktop 20 30 10

Idea 6 Klantenservice Home Beide 40 50 10

Idea 7 Handset Configuratie Touch 30 40 10

Idea 8 Sim Only Configuratie Desktop 15 25 10

Idea 9 Sim Only Landingspagina

Touch 10 15 5

Idea 10 DSL Orderflow Beide 10 15 5

Valkuilen

Statistische significantie is essentieel

– Gebruik online calculators voordat je gaat testen

– Test niet te kort of te lang– Accepteer als tests niet uitpakken zoals je

hoopt– Moet je alles testen?

VoorbeeldControl

Variant

CTR +0.00%Orders +5.02%

Voorbeeld

VariantControl CTR -10.90%Orders

+8.90%

VoorbeeldControl

Variant 1

Variant 2

CTR +5.55%Orders +6.50%

CTR +33.02%Orders

+19.34%

VoorbeeldControl Variant

CTR +12.86%Orders +3.95%

Data evolutie

Segment + actie = personalisatie

Vandaag

Toekomst

CRM

Segmenten

Input organisatie

Actie+ = Personalisatie criteria

Trigger software

Personalisatie

Data management platform

VoorbeeldenNiveau 1

• Heeft Samsung pagina meermaals bezocht zonder te kopen

• Toon Samsung banners op je website

• Vereisten: geen

Niveau 2

• Gebruikt de Mijn Tele2 web omgeving maar niet de app

• Toon een popup met een link naar de app

• Vereisten: ID koppeling

Niveau 3

• Is al klant bij Tele2 en wilt online zijn abonnement verlengen

• Toon een aanbod op basis van huidig contract

• Vereisten: ID & CRM koppeling

Segment

Actie

+

=Personalisatie

Samengevat

– Gebruik de juiste tools voor de juiste insights

– Orden alle ideeën met behulp van een roadmap

– Test je personalisatie inzet volgens dezelfde structuuur

QUESTIONS?