Case sparen SNS

Case behandeling van een multi variate test bij de SNS bank

Uitgevoerd door Ton Wesseling in samenwerking met Memetrics

Business context I

De SNS wilde de aanvragen van een van haar producten: MaxiSparen verhogen. Deze verhoging moest men bereiken door het verbeteren van de webpagina’s die informatie van MaxiSparen toonden.

Randvoorwaarden test

oHet experiment moest uitvoerbaar zijn met XOS van Memetrics

oDit pakket werkt met stukjes JavaScript die bepalen welke varianten getoond moeten worden aan een bezoeker

Beginsituatie

Ook wel de ‘korte’, originele variant genoemd

Opzet variantenMen wilde de volgende vier elementen in op deze

pagina variëren:

1. Lengte van de content op de pagina

2. Uitingen van de banner

3. Formaat van de button

4. Tekst op de button

De volgende dia toont de plek van deze elementen op de pagina

Elementen op de pagina

Banner (2)

Content Length (1)

Content Length (1)

Text & Button (3 & 4)

Variaties element 1: Content

1. Origineel kort

2. Nieuw kort

3. Nieuw middenlang

4. Origineel lang

Variaties element 2: banner

1. met of zonder animatie

2. met of zonder animatie

Variaties element 3 & 4: buttons

De onderstaande buttons zijn een aantal die gebruikt zijn tijdens het experiment:

Conversiepunt I

Conversiepunt I

Conversiepunt II

Het tweede conversiepunt in deze test is het doen van een daadwerkelijke bestelling. Dit is de belangrijkste of “harde” conversie.

Het nadeel van deze conversie is dat deze een flink aantal stappen verwijderd is van de testpagina en de tussenliggende pagina’s ook een grote invloed hebben, terwijl deze niet in de test zijn opgenomen.

Looptijd experiment

Het experiment duurde 8 weken en 77.000 bezoekers deden mee.

Resultaten I: Page length

De beste presterende content was de pagina met de “korte” pagina of content

Resultaten II: banner

De best presterende banner was het krijtbord en om deze niet-dynamisch te tonen

Resultaten III & IV: buttons

De best presterende button was de rode “Nu aanvragen” button

De winnende pagina

Resultaten overzichtEen voorbeeldrapport van een multivariate test.

Het attibuut is het onderdeel van de pagina dat tijdens de test is gevarieerd.

De Level zijn de verschillende varianten voor ieder van deze attributen.

De”relative effects” geven het effect weer op de conversie.

Learnings

oDe korte content presteerde het beste

oDe kleur van de button heeft invloed op het conversie gedrag

oRood is daarbij een betere kleur dan groen

oAnimaties waren bij deze twee banners minder goed dan de statische content

oWijzigingen aan de product beschrijving pagina hebben invloed op de conversie