ExperimentExperimenteereerOut of the boxOut of the boxin to the testin to the test
Amazon’s winkelwagentjeAmazon’s winkelwagentje Bijna elke website heeft een winkelwagentjeBijna elke website heeft een winkelwagentje
Bij Amazon bedacht Greg Linden dat het Bij Amazon bedacht Greg Linden dat het handig is als er aanbevelingen naast staanhandig is als er aanbevelingen naast staan
Evaluatie van het voorstelEvaluatie van het voorstel Voor: cross-sell van andere artikelen (het Voor: cross-sell van andere artikelen (het
karretje wordt voller)karretje wordt voller) Tegen: leidt af van het koop/betaalproces Tegen: leidt af van het koop/betaalproces
(minder karretjes bij de kassa)(minder karretjes bij de kassa)
Board’s mening: niet doen, stop het projectBoard’s mening: niet doen, stop het project
Simple experiment: extreem succesvol en Simple experiment: extreem succesvol en wereldwijd gekopieerdwereldwijd gekopieerd
Joann.com naaimachinesJoann.com naaimachines Veel geëxperimenteerd met aanbiedingen om Veel geëxperimenteerd met aanbiedingen om
de verkoop van naaimachines te verbeterende verkoop van naaimachines te verbeteren
De beste: “Koop twee en krijg 10% korting.” De beste: “Koop twee en krijg 10% korting.”
Evaluatie van het voorstelEvaluatie van het voorstel Wie koopt er nu twee naaimachines?Wie koopt er nu twee naaimachines? Waarom zouden we tijd verdoen met deze test?Waarom zouden we tijd verdoen met deze test?
Waarom wel succesvol?Waarom wel succesvol? Kleine groep gebruikers, vaak verenigd in kleine Kleine groep gebruikers, vaak verenigd in kleine
clubjes.clubjes. Binnen die clubjes zochten mensen anderen om Binnen die clubjes zochten mensen anderen om
samen naaimachines te kopen.samen naaimachines te kopen.
Meer AmazonMeer Amazon
Midden 1
Midden 2
Links 1
Links 2
Links 3
Meer AmazonMeer Amazon
Homepage was een speeltje van alle VP’sHomepage was een speeltje van alle VP’s Iedere category manager wilde bovenaanIedere category manager wilde bovenaan Elke vrijdag meeting, duurde lang, Elke vrijdag meeting, duurde lang,
ongeorganiseerd en luidongeorganiseerd en luid Beslissingen op gevoel en de gok, niet op kennisBeslissingen op gevoel en de gok, niet op kennis
Nu geautomatiseerd met real-time A/B testenNu geautomatiseerd met real-time A/B testen Pagina ingedeeld in slotsPagina ingedeeld in slots Iedereen kan content aanbieden (ook jij!)Iedereen kan content aanbieden (ook jij!) Realtime resultaat bepaalt de beste contentRealtime resultaat bepaalt de beste content Inzicht in waarde van eigen content moedigde Inzicht in waarde van eigen content moedigde
aan om anderen en zichzelf te verslaanaan om anderen en zichzelf te verslaan
Gegevens verslaan intuïtieGegevens verslaan intuïtie
Onze intuïtie faalt, zeker bij nieuwe ideeënOnze intuïtie faalt, zeker bij nieuwe ideeën Hoe minder beschikbare gegevens hoe sterker Hoe minder beschikbare gegevens hoe sterker
de meningende meningen
Verzamel gegevens door te testen!Verzamel gegevens door te testen!
Wat wil je leren en wat ga je Wat wil je leren en wat ga je ermee doenermee doen
Optimaliseer voor de lange termijn (lifetime value)Optimaliseer voor de lange termijn (lifetime value) De naaimachine actie won niet op het aantal clicks, De naaimachine actie won niet op het aantal clicks,
maar wel op het aantal verkochte parenmaar wel op het aantal verkochte paren
Gebruik KPI’s om de lange termijn doelstellingen te Gebruik KPI’s om de lange termijn doelstellingen te benadrukkenbenadrukken
Voorbeelden van lange termijn KPI’sVoorbeelden van lange termijn KPI’s Tijd op een siteTijd op een site BezoekfrequentieBezoekfrequentie
Verschillende meetcriteria evalueren Verschillende meetcriteria evalueren Welke zijn onderscheidend? Welke zijn onderscheidend? Kijk je nog wel naar de juiste (in lijn met je Kijk je nog wel naar de juiste (in lijn met je
doelstelling)doelstelling)
Key Performance Key Performance IndicatorenIndicatoren
Pieter van den Hoogenband vraagt je om advies Pieter van den Hoogenband vraagt je om advies over hoe hij zijn tijd moet verdelen om meer te over hoe hij zijn tijd moet verdelen om meer te verdienen: verdienen: Trainen om zwemtechniek te verbeteren of Trainen om zwemtechniek te verbeteren of
advertentie inkomsten verhogenadvertentie inkomsten verhogen
Korte termijn: meer in advertenties verschijnen Korte termijn: meer in advertenties verschijnen en nu meer verdienenen nu meer verdienen
Lange termijn: meer te trainen, records Lange termijn: meer te trainen, records breken, onsterfelijk worden en langer breken, onsterfelijk worden en langer verschijnen in advertenties.verschijnen in advertenties.
Lijkt voor de handliggend, maar veel bedrijven focussen vaak op de korte termijn
Waarom?
Groepen zijn vaak bang om te experimenteren want een nieuw idee kan slechter zijn dan de huidige situatie
Het grootste probleem?
Het duidelijk krijgen van de lange termijn doelstelling.
Key Performance Key Performance IndicatorenIndicatoren
Wat leren we? Inzoomen!
De KPI’s bepalen wat de volgende test wordt
Als de test geen effect heeft of negatief uitvalt, zoom in Kijk naar de verschillende meetbare variabelen Maak doorsnijdingen (doelgroepen, bronnen,
kanalen, enzovoorts)
Testen! Verschillende namen voor hetzelfde:
Parallele flight A/B testen Controlegroep/Actiegroep Onwillekeurig testen Gecontroleerde experimenten Splitrun testen
Het is niet moeilijk Onwillekeurig doelgroep verdelen over twee versies
Controlegroep (krijgt oude versie) Actiegroep (krijgt nieuwe versie)
Verzamel alle mogelijk interessante gegevens Analyseer ze
Voordelen van testenVoordelen van testen
Ze tonen causaal verband aan, niet alleen Ze tonen causaal verband aan, niet alleen correlatiecorrelatie
Ze isoleren externe factorenZe isoleren externe factoren
Ze worden veel gebruikt (veel voorbeelden Ze worden veel gebruikt (veel voorbeelden dus)dus)
Ze kennen standaard problemen die je van te Ze kennen standaard problemen die je van te voren kunt ondervangenvoren kunt ondervangen
Causaal verband?Causaal verband?
Grootte van je hand toont levensverwachting Grootte van je hand toont levensverwachting aan.aan. Hoe groter je hand, hoe minder lang je Hoe groter je hand, hoe minder lang je
gemiddeld leeftgemiddeld leeft Kijk maar bij je collega’s wie waarschijnlijk het Kijk maar bij je collega’s wie waarschijnlijk het
oudst wordtoudst wordt
Ja, want:Ja, want:
vrouwen hebben kleinere handen en leven vrouwen hebben kleinere handen en leven gemiddeld 6 jaar langergemiddeld 6 jaar langer
Causaal verband?
Er was tussen 1930-36 in Oldenburg correlatie tussen het aantal ooievaars en geboorten
Maar dat betekent niet dat ooievaars kinderen brengen (laat staan máken!)
Standaard problemenStandaard problemen
Lange termijn doelstellingen en KPI’s Lange termijn doelstellingen en KPI’s vaststellenvaststellen
Je krijgt kwantitatieve gegevens, niet direct Je krijgt kwantitatieve gegevens, niet direct het antwoordhet antwoord Een variant kan verliezen omdat een gedeelte Een variant kan verliezen omdat een gedeelte
van de brieven een dag te laat werd bezorgdvan de brieven een dag te laat werd bezorgd Er een veldje is verwisseld (de heer wordt Er een veldje is verwisseld (de heer wordt
mevrouw)mevrouw) Een landingspagina te langzaam laadtEen landingspagina te langzaam laadt
Standaard problemenStandaard problemen
EffectEffect Kleine aanpassing kan eerst negatief lijken, ook al is het Kleine aanpassing kan eerst negatief lijken, ook al is het
een verbeteringeen verbetering Evaluatie focussen op nieuwe gebruikers of langere Evaluatie focussen op nieuwe gebruikers of langere
periodeperiode
Meerdere variaties testenMeerdere variaties testen Variaties maken het statistisch lastig om significante Variaties maken het statistisch lastig om significante
resultaten te halen resultaten te halen
Consistentie en vervuilingConsistentie en vervuiling Online soms een probleem als mensen meerdere PC’s Online soms een probleem als mensen meerdere PC’s
gebruikengebruiken
Lancering of PR beïnvloed soms testenLancering of PR beïnvloed soms testen Personeel of pers bekijkt alvast de nieuwe online Personeel of pers bekijkt alvast de nieuwe online
omgevingomgeving
Standaard problemenStandaard problemen
Onwillekeurig selecterenOnwillekeurig selecteren Is belangrijk om geen verborgen verschillen Is belangrijk om geen verborgen verschillen
tussen doelgroepen te krijgentussen doelgroepen te krijgen Niet kiezen voor de voor de hand liggende Niet kiezen voor de voor de hand liggende
groepengroepen
Ontvanger constant hetzelfde laten zienOntvanger constant hetzelfde laten zien Consequent dezelfde uiting tonen, ook als een Consequent dezelfde uiting tonen, ook als een
klant vaker ontvangt of online de pagina bezoektklant vaker ontvangt of online de pagina bezoekt Toewijzing aan meerdere testen mag geen Toewijzing aan meerdere testen mag geen
invloed hebben op de individuele testinvloed hebben op de individuele test
Blijf proberenBlijf proberen
Netflix levert CD’s en DVD’s per post. Een Netflix levert CD’s en DVD’s per post. Een voorbeeld van proberen en aanpassenvoorbeeld van proberen en aanpassen
En toen?En toen?
Negeer meningen, meet!Negeer meningen, meet!
Test vaak!Test vaak! Verdubbel het aantal testen en je verdubbeld je Verdubbel het aantal testen en je verdubbeld je
succes (en mislukkingen)succes (en mislukkingen) Veel en snel mislukken helpt om te slagenVeel en snel mislukken helpt om te slagen
Test niet alleen maar dingen die geen pijn Test niet alleen maar dingen die geen pijn doendoen Te kleine testgroepen ten gunste van het Te kleine testgroepen ten gunste van het
onderbuik gevoelonderbuik gevoel Alleen aanbiedingen die kans van slagen hebben Alleen aanbiedingen die kans van slagen hebben
(is de mening)(is de mening)
Top Related