Presentatie Campaign Dag

of 25 /25
Experimente Experimente er er Out of the Out of the box box in to the in to the test test

Embed Size (px)

description

Vertaalde en aangepaste presentatie van Ronny Kohavi. Inspirerend om van online verder te vertalen naar direct marketing.

Transcript of Presentatie Campaign Dag

  • 1. Experimenteer Out of the box in to the test

2. 3. Amazons winkelwagentje

  • Bijna elke website heeft een winkelwagentje
  • Bij Amazon bedacht Greg Linden dat het handig is als er aanbevelingen naast staan
  • Evaluatie van het voorstel
    • Voor: cross-sell van andere artikelen (het karretje wordt voller)
    • Tegen: leidt af van het koop/betaalproces (minder karretjes bij de kassa)
  • Boards mening: niet doen, stop het project
  • Simple experiment: extreem succesvol en wereldwijd gekopieerd

4. 5. Joann.com naaimachines

  • Veel gexperimenteerd met aanbiedingen om de verkoop van naaimachines te verbeteren
  • De beste: Koop twee en krijg 10% korting.
  • Evaluatie van het voorstel
    • Wie koopt er nu twee naaimachines?
    • Waarom zouden we tijd verdoen met deze test?
  • Waarom wel succesvol?
    • Kleine groep gebruikers, vaak verenigd in kleine clubjes.
    • Binnen die clubjes zochten mensen anderen om samen naaimachines te kopen.

6. 7. Meer Amazon 8. Midden 1 Midden 2 Links 1 Links 2 Links 3 9. Meer Amazon

  • Homepage was een speeltje van alle VPs
    • Iedere category manager wilde bovenaan
    • Elke vrijdag meeting, duurde lang, ongeorganiseerd en luid
    • Beslissingen op gevoel en de gok, niet op kennis
  • Nu geautomatiseerd met real-time A/B testen
    • Pagina ingedeeld in slots
    • Iedereen kan content aanbieden (ook jij!)
    • Realtime resultaat bepaalt de beste content
    • Inzicht in waarde van eigen content moedigde aan om anderen en zichzelf te verslaan

10. Gegevens verslaan intutie

  • Onze intutie faalt, zeker bij nieuwe ideen
    • Hoe minder beschikbare gegevens hoe sterker de meningen
  • Verzamel gegevens door te testen!

11. Wat wil je leren en wat ga je ermee doen

  • Optimaliseer voor de lange termijn (lifetime value)
    • De naaimachine actie won niet op het aantal clicks, maar wel op het aantal verkochte paren
  • Gebruik KPIs om de lange termijn doelstellingen te benadrukken
  • Voorbeelden van lange termijn KPIs
    • Tijd op een site
    • Bezoekfrequentie
  • Verschillende meetcriteria evalueren
    • Welke zijn onderscheidend?
    • Kijk je nog wel naar de juiste (in lijn met je doelstelling)

12. 13. Key Performance Indicatoren

  • Pieter van den Hoogenband vraagt je om advies over hoe hij zijn tijd moet verdelen om meer te verdienen:
    • Trainen om zwemtechniek te verbeteren of advertentie inkomsten verhogen
  • Korte termijn: meer in advertenties verschijnen en nu meer verdienen
  • Lange termijn: meer te trainen, records breken, onsterfelijk worden en langer verschijnen in advertenties.

14.

  • Lijkt voor de handliggend, maar veel bedrijven focussen vaak op de korte termijn
  • Waarom?
  • Groepen zijn vaak bang om te experimenteren want een nieuw idee kan slechter zijn dan de huidige situatie
  • Het grootste probleem?
  • Het duidelijk krijgen van de lange termijn doelstelling.

Key Performance Indicatoren 15. Wat leren we? Inzoomen!

  • De KPIs bepalen wat de volgende test wordt
  • Als de test geen effect heeft of negatief uitvalt, zoom in
    • Kijk naar de verschillende meetbare variabelen
    • Maak doorsnijdingen (doelgroepen, bronnen, kanalen, enzovoorts)

16. 17. Testen!

  • Verschillende namen voor hetzelfde:
    • Parallele flight
    • A/B testen
    • Controlegroep/Actiegroep
    • Onwillekeurig testen
    • Gecontroleerde experimenten
    • Splitrun testen
  • Het is niet moeilijk
    • Onwillekeurig doelgroep verdelen over twee versies
      • Controlegroep (krijgt oude versie)
      • Actiegroep (krijgt nieuwe versie)
    • Verzamel alle mogelijk interessante gegevens
    • Analyseer ze

18. Voordelen van testen

  • Ze tonen causaal verband aan, niet alleen correlatie
  • Ze isoleren externe factoren
  • Ze worden veel gebruikt (veel voorbeelden dus)
  • Ze kennen standaard problemen die je van te voren kunt ondervangen

19. Causaal verband?

  • Grootte van je hand toont levensverwachting aan.
    • Hoe groter je hand, hoe minder lang je gemiddeld leeft
    • Kijk maar bij je collegas wie waarschijnlijk het oudst wordt
  • Ja, want:
  • vrouwen hebben kleinere handen en leven gemiddeld 6 jaar langer

20. Causaal verband?

  • Er was tussen 1930-36 in Oldenburg correlatie tussen het aantal ooievaars en geboorten
  • Maar dat betekent niet dat ooievaars kinderen brengen (laat staan mken!)

21. Standaard problemen

  • Lange termijn doelstellingen en KPIs vaststellen
  • Je krijgt kwantitatieve gegevens, niet direct het antwoord
    • Een variant kan verliezen omdat een gedeelte van de brieven een dag te laat werd bezorgd
    • Er een veldje is verwisseld (de heer wordt mevrouw)
    • Een landingspagina te langzaam laadt

22. Standaard problemen

  • Effect
    • Kleine aanpassing kan eerst negatief lijken, ook al is het een verbetering
    • Evaluatie focussen op nieuwe gebruikers of langere periode
  • Meerdere variaties testen
    • Variaties maken het statistisch lastig om significante resultaten te halen
  • Consistentie en vervuiling
    • Online soms een probleem als mensen meerdere PCs gebruiken
  • Lancering of PR benvloed soms testen
    • Personeel of pers bekijkt alvast de nieuwe online omgeving

23. Standaard problemen

  • Onwillekeurig selecteren
    • Is belangrijk om geen verborgen verschillen tussen doelgroepen te krijgen
    • Niet kiezen voor de voor de hand liggende groepen
  • Ontvanger constant hetzelfde laten zien
    • Consequent dezelfde uiting tonen, ook als een klant vaker ontvangt of online de pagina bezoekt
    • Toewijzing aan meerdere testen mag geen invloed hebben op de individuele test

24. Blijf proberen

  • Netflix levert CDs en DVDs per post. Een voorbeeld van proberen en aanpassen

25. En toen?

  • Negeer meningen, meet!
  • Test vaak!
    • Verdubbel het aantal testen en je verdubbeld je succes (en mislukkingen)
    • Veel en snel mislukken helpt om te slagen
  • Test niet alleen maar dingen die geen pijn doen
    • Te kleine testgroepen ten gunste van het onderbuik gevoel
    • Alleen aanbiedingen die kans van slagen hebben (is de mening)