ExperimentExperimenteereerOut of the boxOut of the boxin to the testin to the test

Amazon’s winkelwagentjeAmazon’s winkelwagentje Bijna elke website heeft een winkelwagentjeBijna elke website heeft een winkelwagentje

Bij Amazon bedacht Greg Linden dat het Bij Amazon bedacht Greg Linden dat het handig is als er aanbevelingen naast staanhandig is als er aanbevelingen naast staan

Evaluatie van het voorstelEvaluatie van het voorstel Voor: cross-sell van andere artikelen (het Voor: cross-sell van andere artikelen (het

karretje wordt voller)karretje wordt voller) Tegen: leidt af van het koop/betaalproces Tegen: leidt af van het koop/betaalproces

(minder karretjes bij de kassa)(minder karretjes bij de kassa)

Board’s mening: niet doen, stop het projectBoard’s mening: niet doen, stop het project

Simple experiment: extreem succesvol en Simple experiment: extreem succesvol en wereldwijd gekopieerdwereldwijd gekopieerd

Joann.com naaimachinesJoann.com naaimachines Veel geëxperimenteerd met aanbiedingen om Veel geëxperimenteerd met aanbiedingen om

de verkoop van naaimachines te verbeterende verkoop van naaimachines te verbeteren

De beste: “Koop twee en krijg 10% korting.” De beste: “Koop twee en krijg 10% korting.”

Evaluatie van het voorstelEvaluatie van het voorstel Wie koopt er nu twee naaimachines?Wie koopt er nu twee naaimachines? Waarom zouden we tijd verdoen met deze test?Waarom zouden we tijd verdoen met deze test?

Waarom wel succesvol?Waarom wel succesvol? Kleine groep gebruikers, vaak verenigd in kleine Kleine groep gebruikers, vaak verenigd in kleine

clubjes.clubjes. Binnen die clubjes zochten mensen anderen om Binnen die clubjes zochten mensen anderen om

samen naaimachines te kopen.samen naaimachines te kopen.

Meer AmazonMeer Amazon

Midden 1

Midden 2

Links 1

Links 2

Links 3

Meer AmazonMeer Amazon

Homepage was een speeltje van alle VP’sHomepage was een speeltje van alle VP’s Iedere category manager wilde bovenaanIedere category manager wilde bovenaan Elke vrijdag meeting, duurde lang, Elke vrijdag meeting, duurde lang,

ongeorganiseerd en luidongeorganiseerd en luid Beslissingen op gevoel en de gok, niet op kennisBeslissingen op gevoel en de gok, niet op kennis

Nu geautomatiseerd met real-time A/B testenNu geautomatiseerd met real-time A/B testen Pagina ingedeeld in slotsPagina ingedeeld in slots Iedereen kan content aanbieden (ook jij!)Iedereen kan content aanbieden (ook jij!) Realtime resultaat bepaalt de beste contentRealtime resultaat bepaalt de beste content Inzicht in waarde van eigen content moedigde Inzicht in waarde van eigen content moedigde

aan om anderen en zichzelf te verslaanaan om anderen en zichzelf te verslaan

Gegevens verslaan intuïtieGegevens verslaan intuïtie

Onze intuïtie faalt, zeker bij nieuwe ideeënOnze intuïtie faalt, zeker bij nieuwe ideeën Hoe minder beschikbare gegevens hoe sterker Hoe minder beschikbare gegevens hoe sterker

de meningende meningen

Verzamel gegevens door te testen!Verzamel gegevens door te testen!

Wat wil je leren en wat ga je Wat wil je leren en wat ga je ermee doenermee doen

Optimaliseer voor de lange termijn (lifetime value)Optimaliseer voor de lange termijn (lifetime value) De naaimachine actie won niet op het aantal clicks, De naaimachine actie won niet op het aantal clicks,

maar wel op het aantal verkochte parenmaar wel op het aantal verkochte paren

Gebruik KPI’s om de lange termijn doelstellingen te Gebruik KPI’s om de lange termijn doelstellingen te benadrukkenbenadrukken

Voorbeelden van lange termijn KPI’sVoorbeelden van lange termijn KPI’s Tijd op een siteTijd op een site BezoekfrequentieBezoekfrequentie

Verschillende meetcriteria evalueren Verschillende meetcriteria evalueren Welke zijn onderscheidend? Welke zijn onderscheidend? Kijk je nog wel naar de juiste (in lijn met je Kijk je nog wel naar de juiste (in lijn met je

doelstelling)doelstelling)

Key Performance Key Performance IndicatorenIndicatoren

Pieter van den Hoogenband vraagt je om advies Pieter van den Hoogenband vraagt je om advies over hoe hij zijn tijd moet verdelen om meer te over hoe hij zijn tijd moet verdelen om meer te verdienen: verdienen: Trainen om zwemtechniek te verbeteren of Trainen om zwemtechniek te verbeteren of

advertentie inkomsten verhogenadvertentie inkomsten verhogen

Korte termijn: meer in advertenties verschijnen Korte termijn: meer in advertenties verschijnen en nu meer verdienenen nu meer verdienen

Lange termijn: meer te trainen, records Lange termijn: meer te trainen, records breken, onsterfelijk worden en langer breken, onsterfelijk worden en langer verschijnen in advertenties.verschijnen in advertenties.

Lijkt voor de handliggend, maar veel bedrijven focussen vaak op de korte termijn

Waarom?

Groepen zijn vaak bang om te experimenteren want een nieuw idee kan slechter zijn dan de huidige situatie

Het grootste probleem?

Het duidelijk krijgen van de lange termijn doelstelling.

Key Performance Key Performance IndicatorenIndicatoren

Wat leren we? Inzoomen!

De KPI’s bepalen wat de volgende test wordt

Als de test geen effect heeft of negatief uitvalt, zoom in Kijk naar de verschillende meetbare variabelen Maak doorsnijdingen (doelgroepen, bronnen,

kanalen, enzovoorts)

Testen! Verschillende namen voor hetzelfde:

Parallele flight A/B testen Controlegroep/Actiegroep Onwillekeurig testen Gecontroleerde experimenten Splitrun testen

Het is niet moeilijk Onwillekeurig doelgroep verdelen over twee versies

Controlegroep (krijgt oude versie) Actiegroep (krijgt nieuwe versie)

Verzamel alle mogelijk interessante gegevens Analyseer ze

Voordelen van testenVoordelen van testen

Ze tonen causaal verband aan, niet alleen Ze tonen causaal verband aan, niet alleen correlatiecorrelatie

Ze isoleren externe factorenZe isoleren externe factoren

Ze worden veel gebruikt (veel voorbeelden Ze worden veel gebruikt (veel voorbeelden dus)dus)

Ze kennen standaard problemen die je van te Ze kennen standaard problemen die je van te voren kunt ondervangenvoren kunt ondervangen

Causaal verband?Causaal verband?

Grootte van je hand toont levensverwachting Grootte van je hand toont levensverwachting aan.aan. Hoe groter je hand, hoe minder lang je Hoe groter je hand, hoe minder lang je

gemiddeld leeftgemiddeld leeft Kijk maar bij je collega’s wie waarschijnlijk het Kijk maar bij je collega’s wie waarschijnlijk het

oudst wordtoudst wordt

Ja, want:Ja, want:

vrouwen hebben kleinere handen en leven vrouwen hebben kleinere handen en leven gemiddeld 6 jaar langergemiddeld 6 jaar langer

Causaal verband?

Er was tussen 1930-36 in Oldenburg correlatie tussen het aantal ooievaars en geboorten

Maar dat betekent niet dat ooievaars kinderen brengen (laat staan máken!)

Standaard problemenStandaard problemen

Lange termijn doelstellingen en KPI’s Lange termijn doelstellingen en KPI’s vaststellenvaststellen

Je krijgt kwantitatieve gegevens, niet direct Je krijgt kwantitatieve gegevens, niet direct het antwoordhet antwoord Een variant kan verliezen omdat een gedeelte Een variant kan verliezen omdat een gedeelte

van de brieven een dag te laat werd bezorgdvan de brieven een dag te laat werd bezorgd Er een veldje is verwisseld (de heer wordt Er een veldje is verwisseld (de heer wordt

mevrouw)mevrouw) Een landingspagina te langzaam laadtEen landingspagina te langzaam laadt

Standaard problemenStandaard problemen

EffectEffect Kleine aanpassing kan eerst negatief lijken, ook al is het Kleine aanpassing kan eerst negatief lijken, ook al is het

een verbeteringeen verbetering Evaluatie focussen op nieuwe gebruikers of langere Evaluatie focussen op nieuwe gebruikers of langere

periodeperiode

Meerdere variaties testenMeerdere variaties testen Variaties maken het statistisch lastig om significante Variaties maken het statistisch lastig om significante

resultaten te halen resultaten te halen

Consistentie en vervuilingConsistentie en vervuiling Online soms een probleem als mensen meerdere PC’s Online soms een probleem als mensen meerdere PC’s

gebruikengebruiken

Lancering of PR beïnvloed soms testenLancering of PR beïnvloed soms testen Personeel of pers bekijkt alvast de nieuwe online Personeel of pers bekijkt alvast de nieuwe online

omgevingomgeving

Standaard problemenStandaard problemen

Onwillekeurig selecterenOnwillekeurig selecteren Is belangrijk om geen verborgen verschillen Is belangrijk om geen verborgen verschillen

tussen doelgroepen te krijgentussen doelgroepen te krijgen Niet kiezen voor de voor de hand liggende Niet kiezen voor de voor de hand liggende

groepengroepen

Ontvanger constant hetzelfde laten zienOntvanger constant hetzelfde laten zien Consequent dezelfde uiting tonen, ook als een Consequent dezelfde uiting tonen, ook als een

klant vaker ontvangt of online de pagina bezoektklant vaker ontvangt of online de pagina bezoekt Toewijzing aan meerdere testen mag geen Toewijzing aan meerdere testen mag geen

invloed hebben op de individuele testinvloed hebben op de individuele test

Blijf proberenBlijf proberen

Netflix levert CD’s en DVD’s per post. Een Netflix levert CD’s en DVD’s per post. Een voorbeeld van proberen en aanpassenvoorbeeld van proberen en aanpassen

En toen?En toen?

Negeer meningen, meet!Negeer meningen, meet!

Test vaak!Test vaak! Verdubbel het aantal testen en je verdubbeld je Verdubbel het aantal testen en je verdubbeld je

succes (en mislukkingen)succes (en mislukkingen) Veel en snel mislukken helpt om te slagenVeel en snel mislukken helpt om te slagen

Test niet alleen maar dingen die geen pijn Test niet alleen maar dingen die geen pijn doendoen Te kleine testgroepen ten gunste van het Te kleine testgroepen ten gunste van het

onderbuik gevoelonderbuik gevoel Alleen aanbiedingen die kans van slagen hebben Alleen aanbiedingen die kans van slagen hebben

(is de mening)(is de mening)