1. Experimenteer Out of the box in to the test

2. 3. Amazons winkelwagentje

Bijna elke website heeft een winkelwagentje

Bij Amazon bedacht Greg Linden dat het handig is als er aanbevelingen naast staan

Evaluatie van het voorstel

• Voor: cross-sell van andere artikelen (het karretje wordt voller)

• Tegen: leidt af van het koop/betaalproces (minder karretjes bij de kassa)

Boards mening: niet doen, stop het project

Simple experiment: extreem succesvol en wereldwijd gekopieerd

4. 5. Joann.com naaimachines

Veel gexperimenteerd met aanbiedingen om de verkoop van naaimachines te verbeteren

De beste: Koop twee en krijg 10% korting.

Evaluatie van het voorstel

• Wie koopt er nu twee naaimachines?

• Waarom zouden we tijd verdoen met deze test?

Waarom wel succesvol?

• Kleine groep gebruikers, vaak verenigd in kleine clubjes.

• Binnen die clubjes zochten mensen anderen om samen naaimachines te kopen.

6. 7. Meer Amazon 8. Midden 1 Midden 2 Links 1 Links 2 Links 3 9. Meer Amazon

Homepage was een speeltje van alle VPs

• Iedere category manager wilde bovenaan

• Elke vrijdag meeting, duurde lang, ongeorganiseerd en luid

• Beslissingen op gevoel en de gok, niet op kennis

Nu geautomatiseerd met real-time A/B testen

• Pagina ingedeeld in slots

• Iedereen kan content aanbieden (ook jij!)

• Realtime resultaat bepaalt de beste content

• Inzicht in waarde van eigen content moedigde aan om anderen en zichzelf te verslaan

10. Gegevens verslaan intutie

Onze intutie faalt, zeker bij nieuwe ideen

• Hoe minder beschikbare gegevens hoe sterker de meningen

Verzamel gegevens door te testen!

11. Wat wil je leren en wat ga je ermee doen

Optimaliseer voor de lange termijn (lifetime value)

• De naaimachine actie won niet op het aantal clicks, maar wel op het aantal verkochte paren

Gebruik KPIs om de lange termijn doelstellingen te benadrukken

Voorbeelden van lange termijn KPIs

• Tijd op een site

• Bezoekfrequentie

Verschillende meetcriteria evalueren

• Welke zijn onderscheidend?

• Kijk je nog wel naar de juiste (in lijn met je doelstelling)

12. 13. Key Performance Indicatoren

Pieter van den Hoogenband vraagt je om advies over hoe hij zijn tijd moet verdelen om meer te verdienen:

• Trainen om zwemtechniek te verbeteren of advertentie inkomsten verhogen

Korte termijn: meer in advertenties verschijnen en nu meer verdienen

Lange termijn: meer te trainen, records breken, onsterfelijk worden en langer verschijnen in advertenties.

14.

Lijkt voor de handliggend, maar veel bedrijven focussen vaak op de korte termijn

Waarom?

Groepen zijn vaak bang om te experimenteren want een nieuw idee kan slechter zijn dan de huidige situatie

Het grootste probleem?

Het duidelijk krijgen van de lange termijn doelstelling.

Key Performance Indicatoren 15. Wat leren we? Inzoomen!

De KPIs bepalen wat de volgende test wordt

Als de test geen effect heeft of negatief uitvalt, zoom in

• Kijk naar de verschillende meetbare variabelen

• Maak doorsnijdingen (doelgroepen, bronnen, kanalen, enzovoorts)

16. 17. Testen!

Verschillende namen voor hetzelfde:

• Parallele flight

• A/B testen

• Controlegroep/Actiegroep

• Onwillekeurig testen

• Gecontroleerde experimenten

• Splitrun testen

Het is niet moeilijk

• Onwillekeurig doelgroep verdelen over twee versies

• • Controlegroep (krijgt oude versie)

• • Actiegroep (krijgt nieuwe versie)

• Verzamel alle mogelijk interessante gegevens

• Analyseer ze

18. Voordelen van testen

Ze tonen causaal verband aan, niet alleen correlatie

Ze isoleren externe factoren

Ze worden veel gebruikt (veel voorbeelden dus)

Ze kennen standaard problemen die je van te voren kunt ondervangen

19. Causaal verband?

Grootte van je hand toont levensverwachting aan.

• Hoe groter je hand, hoe minder lang je gemiddeld leeft

• Kijk maar bij je collegas wie waarschijnlijk het oudst wordt

Ja, want:

vrouwen hebben kleinere handen en leven gemiddeld 6 jaar langer

20. Causaal verband?

Er was tussen 1930-36 in Oldenburg correlatie tussen het aantal ooievaars en geboorten

Maar dat betekent niet dat ooievaars kinderen brengen (laat staan mken!)

21. Standaard problemen

Lange termijn doelstellingen en KPIs vaststellen

Je krijgt kwantitatieve gegevens, niet direct het antwoord

• Een variant kan verliezen omdat een gedeelte van de brieven een dag te laat werd bezorgd

• Er een veldje is verwisseld (de heer wordt mevrouw)

• Een landingspagina te langzaam laadt

22. Standaard problemen

Effect

• Kleine aanpassing kan eerst negatief lijken, ook al is het een verbetering

• Evaluatie focussen op nieuwe gebruikers of langere periode

Meerdere variaties testen

• Variaties maken het statistisch lastig om significante resultaten te halen

Consistentie en vervuiling

• Online soms een probleem als mensen meerdere PCs gebruiken

Lancering of PR benvloed soms testen

• Personeel of pers bekijkt alvast de nieuwe online omgeving

23. Standaard problemen

Onwillekeurig selecteren

• Is belangrijk om geen verborgen verschillen tussen doelgroepen te krijgen

• Niet kiezen voor de voor de hand liggende groepen

Ontvanger constant hetzelfde laten zien

• Consequent dezelfde uiting tonen, ook als een klant vaker ontvangt of online de pagina bezoekt

• Toewijzing aan meerdere testen mag geen invloed hebben op de individuele test

24. Blijf proberen

Netflix levert CDs en DVDs per post. Een voorbeeld van proberen en aanpassen

25. En toen?

Negeer meningen, meet!

Test vaak!

• Verdubbel het aantal testen en je verdubbeld je succes (en mislukkingen)

• Veel en snel mislukken helpt om te slagen

Test niet alleen maar dingen die geen pijn doen

• Te kleine testgroepen ten gunste van het onderbuik gevoel

• Alleen aanbiedingen die kans van slagen hebben (is de mening)