Multi Variate Testen

Wie, Wat, Waarom?

Frank Overbeek Eddy Boeve

“Het (on-line, geautomatiseerd) aanbieden en variëren en van communicatie componenten*, met als doel; de analyse van het veroorzaakte gedrag van de ontvangende partij’, om zo de bewezen optimale communicatie/conversie* te bepalen”.

Wat is het?

Marketing Instrument

Offer

Header

Image

Text Call to Action

Optimale Communicatie = Conversie

Wat te testen?

Voorbeeld

Begrippen

• Segmentatie (wat weet ik van mijn bezoek)• Responsepoints (waar komt de bezoeker)• Sample size (hoeveel bezoekers)• Factor (component)• Variatie (variatie)• Interactie (relatie factoren)

Plaats in de keten

UsabilityUserexperience Analytics MVT

ProductionDevelopment

Feedback

Optimaal Mediagebruik

Campagne

Offline Media

Banner

E-mail

Online Media

Optimalisatie

• Creëer Campagne

• Optimaliseer Online Media

• Start Campagne (offline etc.)

• Klant vindt geoptimaliseerde Media

Klant

Optimimaal??

Javascript + tags in webpage

Technologie

Serverside Plugin

Technologie

No Tags / No Script

Bezoeker

Server

Technologie

1

2

3

4

5

Funnel bewaken door responsepoints

• Workshop Experiment Design• Content Creation• Business Rules Implementation • Go-Live / Test • End Test (statistical relevance)• Report Creation

How it Works

Proces

• Welke conversiedoelen / response wil je bereiken?

• Welke factoren wil je onderzoeken die effect hebben op de doelen/respons?

• Welke variaties kunnen deze factoren hebben?

• Welke additionele segment karakteristieken hebben daarnaast invloed op de conversie?

Componenten van Experiment

Test factoren en variaties

Segment variabelen

Klantgedrag

De resultaten die je zoekt om sitegedrag te begrijpen en te optimaliseren

Zaken binnen

mijn controle (X)

Zaken buiten

mijn controle (Z)

Uitkomst (Y)

Optimalisatie

1. Maak een overzicht van de business doelstellingen.

2. Bepaal het gewenste conversiedoel.

3. Identificeer de factoren op de pagina die de grootste invloed

hebben op de keuze van de klant.

4. Bepaal of er nog segment invloeden zijn.

5. Beschrijf wat er zal gebeuren als de nieuwe variatie wordt

geïmplementeerd.

6. Beschrijf het als een zin.

Hypothese formuleren

High value klanten nemen het high value aanbod, twee keer zo veel als low value klanten.Voorbeeld:

Onderwerp

OnderwerpVergelijking

Attribuut

4 key ingrediënten voor Hypothesen

Goede hypothesen bestaan uit:

a) Een doelgroep (Z)

• Ofwel een complete groep of sub-segmenten van de groep

b) Een meetbare uitkomst (Y)

• Een uitkomst binnen het klant keuzeproces

c) Een vergelijking (<>)

• Meer dan, minder dan, hetzelfde, etc

d) Een variabel attribuut (X)

• Het element wat het keuzeproces van de klant beïnvloed

Voorbeeld Hypothesen

Afbeeldingen van succesvolle mensen heeft een postief effect op de conversie

Het verstrekken van emphatische informatie heeft invloed op de conversie: ‘we hebben al xxx beleggers geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ , ‘een gemiddeld rendement van xxx is behaald’.

Klanten hebben behoefte aan procesinfo: Het toelichten van het proces verloop op voorhand zal een hogere conversie bewerkstelligen.

Lengte van de test

• Aantal Factoren (Elementen)• Aantal Variaties• Aantal Bezoekers• Aantal Conversies• Confidence level

• Statistische relevantie

Methoden

• Taguchi• Fractional Factorial• Full Factorial• Optimal Design

Segmentatie - Targeting

De Markt

http://www.whichmvt.com/

De Markt

Wat kost dat?

• Primaire kosten (licentie)• Implementatie (per test)• Personele kosten (FTE)

“ALLWAYS BE TESTING!!”

Wat testen?

• Visuele aspecten• Textuele aspecten• Contextuele aspecten• Informatie vormen / volume• Technische aspecten• Persuasiveness

Voorbeelden

Mozilla

Mozilla

The simplest variation (far right confidence interval. This improvement translates to 1.7 million additional Firefox downloads per year! image) performed the best, increasing the download conversion rate by 2.3%, at the 99%

Next up, we will run similar tests on our non-IE download page and on our localized pages. If we hit the same 2.3% conversion improvement across these pages, we’ll drive 5.4 million additional downloads per year! And, if just 25% of those downloads convert into daily users, we’ll have added as many users as we have in all of Argentina.

We’ll also explore why the simpler variation performed better. One hypotheses is that more users converted because the page loaded faster.

Another is that Take a Tour and Reasons to Switch elements are more visible and more persuasive. Have other ideas? Please leave them in the comments!

Mozilla

ANWB

• Onderken de Segmenten (wanneer van toepassing)• Ontwerp de hypothesen• Creëer hiermee een uitgebreide set aan attributen en variaties• Geef de verschillende ‘behandelingen’ uit per bezoeker• Doe dat consistent en systematisch• Volg de gebruiker (conversie)• Analyseer gebruikers gedrag • Bepaal uitkomst, gebaseerd op actueel klantgedrag!• Hoe ?• ‘Ervaring’ or ‘Intuïtie’• Kopieer anderen.. ;-)• Experimenteer.. (uitkomst o.b.v. gebruiker-feedback) en leer!

Proces uitgebreid

Succesfactoren

• Organisatie klaar (analytics in place)• Ownership FTE(s)• Onbeantwoorde vragen• Open Blik• Creativiteit• Juiste Tool

Interactief

Vragen

Frank Overbeekfoverbeek@sitespect.com+31 (65) 324 1643

Eddy Boeveeddy@freelancefirm.nl+31 (62) 1557571