5

INHOUDSOPGAVE

1 INLEIDING 9

2 OP ZOEK NAAR MEER OPENS EN MEER CLICKS 112.1 Structureel testen verhoogt je respons 112.2 E-mail biedt je eindeloze testmogelijkheden 112.3 A/B-testen en multivariate testen 122.4 Scope van dit boek 132.5 Meten van respons: voorkom spraakverwarring 14 2.5.1 Openen en bekijken van e-mail 14 2.5.2 Klikken in e-mail 16 2.5.3 Overige definities 18

3 BEGINSELEN VOOR SUCCESVOL TESTEN 193.1 Test gelijktijdig tegen een controleversie 193.2 Test één variabele per versie 193.3 Test met representatieve groepen 223.4 Wijs opens en clicks toe aan de juiste variant 233.5 Check alles - en check alles opnieuw 243.6 Zo maak je je test nóg leuker! 24

4 MEER OPENS 254.1 Hoe overleef ik de inbox? 254.2 Testen met de afzendernaam 264.3 Testen met de onderwerpregel 274.4 Testen met de snippet 304.5 Testen met de voorbeeldweergave 304.6 Testen met het verzendmoment 324.7 Open Rate versus Render Rate 33

5 MEER CLICKS 355.1 Testen van HTML- versus plain text-e-mail 355.2 Testen van e-maildesign zonder afbeeldingen 365.3 Testen van call-to-action 375.4 Testen van afbeeldingen 385.5 Testen van video in e-mail 39

Binnenwerk Meer opens, meer clicks.indd 5 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

6

5.6 Testen van e-maildesign 405.7 Testen van het aanbod 425.8 Testen van de verzendfrequentie 45

6 MULTIVARIATE TESTEN 476.1 Hoe werkt het? 476.2 Resultaten en conclusies 486.3 Efficiënter testen: de Taguchi-methode 50

7 OVERIGE FACTOREN OM TE TESTEN 557.1. Doelgroepen en segmenten 557.2. Landingspagina’s 597.3. Kostenbeheersing 60

8 ZEVENSTAPPENPLAN VOOR SUCCESVOL TESTEN 61 Stap 1. Wat wil je testen met welk doel? 62 Stap 2. Bepaal de benodigde testgrootte 64 Stap 3. Ontwerp de test 64 Stap 4. Maak de testvarianten 68 Stap 5. Verzend de testvarianten 68 Stap 6. Meet en analyseer de respons 68 Stap 7. Trek de conclusies 69

9 STATISTISCHE SPELREGELS 719.1 Rekenwerk vooraf 72 9.1.1 Bereken je testgrootte 72 9.1.2 Responsscenario’s en simulaties 80 9.1.3 Testen bij kleine aantallen 839.2 Rekenwerk achteraf 85 9.2.1 Hoe betrouwbaar is je testresultaat? 86 9.2.2 Hoe nauwkeurig is je testresultaat? 87 9.2.3 Is het verschil tussen twee uitkomsten significant? 88

10 RELEVANTE ONTWIKKELINGEN 91

11 CASES 9511.1 Marktplaats: wie jarig is, trakteert en test! 9511.2 Microsoft: meer testen is meer verkopen 9811.3 Philips: multivariate testen voor hogere conversie 10011.4 Samsung: emoji en dataverrijking 10211.5 HotelSpecials: klikprofielen en contentpersonalisatie 11011.6 ING: open kaart versus mysterie 11211.7 SeniorWeb: long copy versus short copy 115

Binnenwerk Meer opens, meer clicks.indd 6 25-08-15 11:30

I N H O U D S O P G A V E

7

11.8 Thermen Bussloo: propositie en verzendmoment 11811.9 Travix: de kunst van het verleiden 12211.10 Viking: man versus vrouw 12511.11 AutoTrader UK: meer clicks en meer omzet 12811.12 Vodafone: verlaten winkelwagentjes 129

12 VERKLARENDE WOORDENLIJST 133

13 BRONNEN 143

14 OVER DE AUTEURS 145

15 DANKWOORD 147

KLEURENAFBEELDINGEN BIJ DE CASES 149

Binnenwerk Meer opens, meer clicks.indd 7 25-08-15 11:30

9

INLEIDING

Dit boek is bedoeld voor e-mailmarketeers, online marketeers en alle andere marketing- en communicatieprofessionals die de resultaten van hun e-mailcampagnes willen verbeteren. Dat kan door het verbeteren van segmentatie, personalisatie en het automatiseren van eff ectieve campagnes. Door het verzendmoment en de verzendfrequentie beter af te stemmen op de bereidheid van de ontvangers om jouw bericht te openen en erop te klikken. En door te testen wat het beste werkt. Daar liggen nog volop kansen. Want bij de meeste bedrijven wordt relatief weinig tijd besteed aan het structureel en gestructureerd testen en optimaliseren van e-mailuitingen. Als je dit herkent en meer opens en clicks wilt, is dit een boek voor jou. We laten je zien hoe je door te testen de resultaten van e-mail substantieel en structureel kunt verbeteren.

Dat is nogal wat. Alsof wij dat kunnen garanderen. Nou, inderdaad, dat kunnen we. Bij elkaar opgeteld hebben we met z’n tweeën meer dan dertig jaar (internationale) ervaring in e-mailmarketing. Natuurlijk hebben we niet de wijsheid in pacht. We weten niet alles en ook wij leren nog elke dag. Toch weten we één ding zeker: als je onze ervaringen en die van tal van anderen, zoals we die voor je hebben gebundeld in dit boek, in de praktijk toepast, ga je de resultaten van je e-mailcampagnes structureel verbeteren. Dat garanderen wij je. Als je ons over een jaar laat zien dat je de lessen uit dit boek hebt toegepast en desondanks niet meer opens en clicks hebt gerealiseerd, krijg je van ons het geld van dit boek terug.

In dit boek vind je veel inspirerende voorbeelden van uiteenlopende bedrijven. Al met al is het een praktisch boek met tal van tips, do’s en don’ts, direct toepasbare ideeën en praktijkvoorbeelden die als inspi-ratie dienen.

En nu aan de slag!

111

Binnenwerk Meer opens, meer clicks.indd 9 25-08-15 11:30

11

OP ZOEK NAAR MEER OPENS EN MEER CLICKS

2.1 STRUCTUREEL TESTEN VERHOOGT JE RESPONS

Uit vele onderzoeken komt naar voren dat een groot deel van de e-mail-marketeers nooit commerciële testen uitvoert. Dat is opmerkelijk, want het medium is bij uitstek geschikt voor commercieel testen. Het resultaat is immers meestal al binnen enkele uren bekend.

Nog belangrijker: de marketeers die wij spreken geven aan dat ook de ROI wordt verhoogd door te testen. Natuurlijk, soms doe je wel eens een test die niet het gewenste eff ect heeft. Maar als je gestructureerd volgens een plan test, verhoog je je respons.

Als belangrijkste reden om niet te testen geven marketeers vaak aan dat ze niet weten hoe het moet of dat ze te weinig tijd hebben. Na het lezen van dit boek is je basiskennis voldoende om aan de slag te gaan met testen. En tijd is eigenlijk alleen een kwestie van prioriteit.

2.2 E-MAIL BIEDT JE EINDELOZE TESTMOGELIJKHEDEN

Vanwege de korte productietijd en de korte responstijd is testen in e-mail een verademing. Binnen een dag na verzending – en soms al binnen enkele uren – heb je een goed beeld van het responsgedrag van je ontvangers. Vaak is binnen 24 uur al meer dan 80 procent van de respons bekend.

Met de juiste instrumenten heb je binnen de kortste keren inzicht in je opens, clicks en conversie. Online en realtime.

De uiting kan op basis van de eerste bevindingen worden aangepast, waarna op zeer korte termijn een nóg eff ectievere e-mail kan worden verstuurd.

E-mail leent zich ook heel goed om variabelen te testen die je over-weegt in andere campagnes door te voeren. Denk aan onderwerpregels, designs, fi jnmazige selecties, producten, prijsproposities, incentives of andere elementen van je aanbod.

222

Binnenwerk Meer opens, meer clicks.indd 11 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

12

2.3 A/B-TESTEN EN MULTIVARIATE TESTEN

Commercieel testen is geen rocket science. Het heeft wel wetenschappe-lijke trekjes. Het gaat om planmatig werken, goed meten en vergelijken, en het gaat om cijfers. Je test om proefondervindelijk vast te stellen wat het effect is van het gebruik van bepaalde variabelen op een specifieke wijze.

A/B-TESTENDe meest gebruikte vorm van testen is de zogeheten A/B-test waarbij een variabele wordt getest. Het idee erachter is dat je niet met meerdere variabelen tegelijkertijd kunt testen, omdat je dan niet kunt meten welke invloed de variabelen op elkaar hebben. De stijging of daling in respons is dan niet meer goed toe te wijzen aan de ene of de andere variabele.

Bij A/B-testen test je vaak op een deel van je bestand, zodat je de best scorende variant naar het resterende deel kunt e-mailen en daarmee overall de hoogste respons genereert.

Vanzelfsprekend kun je wel meerdere variabelen testen. En dat kan qua planning wel gelijktijdig maar qua uitvoering niet. Dit behoeft enige verduidelijking. Stel dat iemand twee variabelen wil testen. Bijvoorbeeld het aanpassen van de onderwerpregel en het aanpassen van de naam van de afzender. In dat geval is het aan te bevelen het klantenbestand op te delen in drie gelijke groepen. De eerste groep is de controlegroep. Bij deze groep worden geen variabelen aangepast. De tweede groep is de groep waarbij de onderwerpregel wordt aangepast en de naam van de afzender niet. De derde groep is de groep waarbij de naam van de afzender wordt aangepast en de onderwerpregel niet. Deze drie batches worden verzonden en de respons wordt met elkaar vergeleken. Overi-gens is het belangrijk het verzendtijdstip gelijk te houden. Een verschil in verzendmoment kan grote invloed hebben op de respons.

In dit voorbeeld kun je natuurlijk ook nog een vierde testgroep toevoe-gen waarbij je zowel de naam van de afzender als de onderwerpregel aanpast.

MULTIVARIATE TESTENSteeds vaker wordt er echter aan een vorm van het testen van meerdere variabelen gedaan: het zogeheten multivariate testen. Dit wordt veel toegepast bij website-optimalisatie, maar het kan ook worden gebruikt in e-mailmarketing. In plaats van één voor één en stapje voor stapje verschillende variabelen te testen, test je in een testprogramma tege-lijkertijd meer variabelen. In hoofdstuk 6 gaan we hier dieper op in.

Binnenwerk Meer opens, meer clicks.indd 12 25-08-15 11:30

O P Z O E K N A A R M E E R O P E N S E N M E E R C L I C K S

13

Met het ‘gewone’ rechttoe rechtaan A/B-testen kun je overigens al prima resultaten behalen. Zolang je, voordat je gaat testen, maar goed bedenkt en defi nieert welke hypothese je nu eigenlijk wilt toetsen en met welk doel. Bepaal dus vooraf wat je met de testresultaten wilt gaan doen. Veelgenoemde doelen zijn het vergroten van het percentage geopende e-mails, het verhogen van de Click-Through Rate (CTR) en het verlagen van de kosten.

2.4 SCOPE VAN DIT BOEK

De weg van het verzenden van een e-mail naar respons is een proces dat meerdere fasen doorloopt:

1. Zorg ervoor dat je e-mail aankomt en dus je ontvangers bereikt.

2. Zorg ervoor dat je e-mail opvalt in de inbox en dat de ontvanger deze opent.

3. Zorg ervoor dat de ontvanger die de e-mail heeft geopend, ook op de inhoud van de e-mail klikt.

4. Zorg ervoor dat de bezoeker op de landingspagina het gewenste gedrag vertoont; vaak is dat conversie.

In dit boek over testen in e-mailmarketing richten we ons op het rea-liseren van verbeteringen in stap 2 en 3: meer opens en meer clicks.

Binnenwerk Meer opens, meer clicks.indd 13 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

14

2.5 METEN VAN RESPONS: VOORKOM SPRAAKVERWARRING

Als je gaat testen en de testresultaten goed wilt interpreteren, is het belangrijk dat je op dezelfde wijze meet. Op internationaal niveau zijn er definities vastgesteld over hoe de respons in e-mails gemeten moet worden. Zo spreekt iedereen dezelfde taal. De meeste tools voor ver-zending van e-mail hanteren dezelfde definities.

2.5.1 OPENEN EN BEKIJKEN VAN E-MAIL

Voor het meten van gewenst gedrag vanuit de inbox kijken we naar de openratio (Open Rate) en de renderratio (Render Rate).

CONFIRMED OPEN RATE (COR)Het aantal bevestigde opens gedeeld door het totaal aantal met succes afgeleverde e-mails. Bij voorkeur berekend op basis van het unieke aantal opens in plaats van het totaal aantal opens.Bevestigde opens / Geaccepteerde e-mails = Bevestigde openratio (Confirmed Open Rate)

UNIQUE CONFIRMED OPEN RATEHet unieke aantal ontvangers aan wie een e-mail wordt getoond. Dit kan volledig geopend of in het previewscherm zijn dat wordt bijgehouden met tracking pixel, of als de ontvanger op een link klikt (waaronder ook de afmeldlink) wanneer images worden geblokkeerd. En dat gedeeld door het totale aantal met succes afgeleverde e-mails. Deze statistiek omvat zowel HTML- als plain text-e-mails. Uniek bevestigde opens / Geaccepteerde e-mails = Uniek bevestigde openratio (Unique Confirmed Open Rate)

TOTAL CONFIRMED OPEN RATEHet totaal aantal keren dat een e-mail aan een ontvanger wordt getoond. Dit kan volledig geopend of in het previewscherm zijn en wordt bijgehou-den met tracking pixel, of als de ontvanger op een link klikt (waaronder ook de afmeldlink) wanneer images worden geblokkeerd. En dat gedeeld door het totaal aantal met succes afgeleverde e-mails. Deze statistiek omvat zowel HTML- als plain text-e-mails. Totaal bevestigde opens / Geaccepteerde e-mails = Totaal bevestigde openratio (Total Con-firmed Open Rate)

Binnenwerk Meer opens, meer clicks.indd 14 25-08-15 11:30

O P Z O E K N A A R M E E R O P E N S E N M E E R C L I C K S

15

E-MAIL RENDER RATEHet aantal keren dat een e-mail aan een ontvanger wordt getoond (vol-ledig geopend of in het previewscherm) dat wordt bijgehouden met een tracking image, gedeeld door het totaal aantal met succes afgeleverde e-mails. Deze statistiek is alleen van toepassing op HTML-e-mails. Bij voorkeur op basis van het unieke aantal e-mailweergaven in plaats van het totaal aantal e-mailweergaven.E-mailweergaven / Geaccepteerde e-mails = E-mailweergaveratio (E-mail Render Rate)

UNIQUE E-MAIL RENDER RATEHet unieke aantal ontvangers aan wie een e-mail wordt getoond (volle-dig geopend of in het previewscherm) dat wordt bijgehouden met een tracking image. Als een ontvanger de e-mail meerdere keren opent of er worden meerdere tracking image-verzoeken bijgehouden vanwege het doorsturen van de e-mail, wordt per uniek e-mailadres slechts één keer geteld. Unieke e-mailweergaven / Geaccepteerde e-mails = Unieke e-mailweergaveratio (Unique E-mail Render Rate)

TOTAL E-MAIL RENDER RATEHet totaal aantal keren dat een e-mail aan een ontvanger wordt getoond (volledig geopend of in het preview scherm) welke wordt bijgehouden met alleen een tracking image voor een uniek e-mailadres. Als de ont-vanger de e-mail meerdere keren opent, wordt voor elke vertoning een e-mailweergave geteld.Totale e-mailweergaven / Geaccepteerde e-mails = Totale e-mailweergaveratio (Total E-mail Render Rate)

AVERAGE RECIPIENT RENDER RATEHet totaal aantal keren dat een e-mail aan een ontvanger wordt getoond (volledig geopend of in het previewscherm) dat wordt vastgelegd met een tracking image binnen een HTML-e-mail, gedeeld door het unieke aantal e-mailweergaven. Totale e-mailweergaven / Unieke e-mailweergaven = Gemiddelde e-mailweergaven per gebruiker ratio (Average Recipient Render Rate)

Als secundaire statistiek geeft dit inzicht in het gemiddeld aantal keren dat elke ontvanger (die tenminste eenmaal een bericht weergeeft) een individueel bericht bekijkt. Dit kan waardevol zijn voor zenders van inhoud die lang relevant blijft (zoals nieuwsbrieven), ervan uitgaande dat een groot aantal weergaven per ontvanger positief is voor bepaalde e-mailprogramma’s. Voor de statistiek kunnen ook bevestigde opens worden gebruikt als dat meer van toepassing is voor de afzender.

Binnenwerk Meer opens, meer clicks.indd 15 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

16

WAAROM IS HET VERSCHIL TUSSEN OPEN RATE EN RENDER RATE VAN BELANG?Stel, je test twee visuals ten opzichte van elkaar. Denk bijvoorbeeld aan de kleur van de actiebutton. Dan is het van belang te weten of mensen de visual daadwerkelijk hebben gezien. De Render Rate geeft hier een beter beeld van omdat de Open Rate niet altijd even betrouwbaar is. De Open Rate wordt vastgesteld op basis van de tracking pixel. Als de pixel is ‘geactiveerd’ maar de plaatjes nog niet zijn getoond, telt de e-mail toch als geopend. De mensen die hebben geklikt zonder plaatjes te hebben gezien, zijn dus ook meegenomen. Dit beïnvloedt de testresultaten.

2.5.2 KLIKKEN IN E-MAIL

CLICK-THROUGH RATE (CTR)Het aantal keren dat vanuit een bericht op een link wordt geklikt, gedeeld door het totaal aantal met succes afgeleverde e-mails. Bij voorkeur berekend op basis van het unieke aantal klikken in plaats van het totaal aantal klikken.Aantal klikken / Geaccepteerde e-mails = Doorklikratio (Click-Through Rate)

UNIQUE CLICK-THROUGH RATEHet aantal ontvangers dat in een bericht op een link klikt, gedeeld door het totaal aantal met succes afgeleverde e-mails. Een voorbeeld: een bericht wordt aan vier mensen gestuurd en twee daarvan openen het bericht en downloaden de images; één van deze twee klikt één of meer-dere keren op een link. De CTR voor deze link is dan 25 procent (één unieke klik / vier geaccepteerde e-mails = 25 procent). Unieke aantal klikken / Geaccepteerde e-mails = Unieke doorklikratio (Unique Click-Through Rate)

TOTAL CLICK-THROUGH RATEHet aantal klikken op een link in een bericht, gedeeld door het totaal aantal met succes afgeleverde e-mails. Een voorbeeld: een bericht wordt aan vier mensen gestuurd en twee daarvan openen het bericht en downloaden de images; de één klikt twee keer op een link, de ander klikt niet. De CTR voor deze link is dan 50 procent (twee klikken / vier geaccepteerde e-mails = 50 procent). Totaal aantal klikken / Geaccepteerde e-mails = Totale doorklikratio (Total Click-Through Rate)

De Click-Through Rate kan ook voor de gehele e-mail worden berekend, in plaats van voor een individuele link, om verschillende e-mails met elkaar te vergelijken.

Binnenwerk Meer opens, meer clicks.indd 16 25-08-15 11:30

O P Z O E K N A A R M E E R O P E N S E N M E E R C L I C K S

17

CLICK TO OPEN RATE (CTO)Het aantal keren dat vanuit een bericht op een link wordt geklikt, gedeeld door het aantal uniek bevestigde opens voor dat bericht.Aantal klikken / Uniek bevestigde opens = Klik-per-openratio (Click to Open Rate)

UNIQUE CLICK TO OPEN RATEHet aantal ontvangers dat in een bericht op een link klikt, gedeeld door het aantal uniek bevestigde opens voor dat bericht. Een voorbeeld: een bericht wordt aan vier mensen gestuurd en twee daarvan openen het bericht en downloaden de images; één van hen klikt één of meerdere keren op een link. De CTO is dan 50 procent (één klik / twee uniek bevestigde opens =50 procent). Unieke aantal klikken / Uniek bevestigde opens = Unieke klik-per-openratio (Unique Click to Open Rate)

TOTAL CLICK TO OPEN RATEHet aantal klikken op een link in een bericht, gedeeld door het aantal uniek bevestigde opens voor dat bericht. Een voorbeeld: een bericht wordt aan vier mensen gestuurd en twee daarvan openen het bericht en downloaden de images; de één klikt twee keer op een link, de ander klikt niet. De CTO voor deze link is dan 100 procent (twee klikken / twee uniek bevestigde opens = 100 procent). Totaal aantal klikken / Uniek bevestigde opens = Totale klik-per-openratio (Total Click to Open Rate)

De Click to Open Rate kan ook voor de gehele e-mail worden berekend in plaats van voor een individuele link, om verschillende e-mails met elkaar te vergelijken.

Binnenwerk Meer opens, meer clicks.indd 17 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

18

2.5.3 OVERIGE DEFINITIES

AFLEVERING VAN DE E-MAILSAlle e-mails die met succes zijn afgeleverd in de inbox, spam- of junk-folder, inclusief e-mails die niet zijn aangekomen maar waarvoor geen weigeringsbericht (bounce) is ontvangen.

R Accepted: het aantal met succes afgeleverde e-mails is dus het totaal aantal verstuurde e-mails minus alle geweigerde e-mails (soft en hard bounces).

Verstuurde e-mails – Geweigerde e-mails = Geaccepteerde e-mails

R Acceptance Rate (AR): het totaal aantal e-mails dat met succes is afgeleverd bij de server, gedeeld door het totaal aantal ver-stuurde e-mails.

Geaccepteerde e-mails / Verstuurde e-mails = Afleveringsratio

INBOX PLACEMENT RATEDit is de verhouding van e-mails die in de inbox van de ontvanger zijn afgeleverd ten opzichte van het totaal aantal verstuurde e-mails. De e-mails die in andere mappen terechtkomen, zoals de spam- of junk-folder, worden niet meegerekend.Geaccepteerde e-mails inbox / Verstuurde e-mails = Inbox-plaatsingsratio (Inbox Placement Rate)

Bron: DDMA Standaardisatie E-maildefinities gebaseerd op het S.A.M.E. project van de DMA US.

Binnenwerk Meer opens, meer clicks.indd 18 25-08-15 11:30

19

BEGINSELEN VOOR SUCCESVOL TESTEN

3.1 TEST GELIJKTIJDIG TEGEN EEN CONTROLEVERSIE

Om te weten of een testvariant eff ectiever is dan de variant die je tot dat moment gewend was te gebruiken (de controleversie), moet je de testvariant en de controleversie gelijktijdig verzenden. Alleen dan kun je de resultaten zuiver met elkaar vergelijken en met een aan zekerheid grenzende waarschijnlijkheid voorspellen welke van de twee versies ook bij herhaling beter zal zijn. Verstuur je controle- en testversie daarom op exact hetzelfde moment.

3.2 TEST ÉÉN VARIABELE PER VERSIE

Als je wilt weten of een e-mail met video beter respondeert dan een e-mail zonder video, houd dan de samenstelling van beide e-mailings verder gelijk. In principe test je dan één variabele. In dit voorbeeld: de e-mail zonder video (A) versus de e-mail met video (B).

Binnen een testprogramma kun je wel meer dan één variabele testen. Zo zou je bovenstaande test kunnen aanvullen met een test waarbij je de e-mailingvariant zonder video test tegen een variant met een poll/enquête (test C). Of de e-mailingvariant zonder video en zonder poll tegen een variant met een gepersonaliseerde onderwerpregel (D). En zo verder.

Zolang er binnen het testprogramma steeds een variant te vinden is die op slechts één punt afwijkt van een andere variant, kun je achteraf altijd analyseren wat het eff ect is van één specifi ek onderdeel.

333

Binnenwerk Meer opens, meer clicks.indd 19 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

20

CODE TEST-VARIANT VIDEO POLL ONDERWERPREGEL

A Control nee nee ongepersonaliseerd

B Test ja nee ongepersonaliseerd

C Test nee ja ongepersonaliseerd

D Test nee nee gepersonaliseerd

Tabel 3.1 Testopzet voor e-mailing met verschillende testvariabelen

Door te testen met varianten die steeds op één variabele verschillen van een andere variant, kunnen we een verschil in effect (of dat nu opens zijn, clicks of conversie) altijd toewijzen aan één specifieke oorzaak (de variabele).

Als we willen testen of we onze klanten in e-mailings beter kunnen aanspreken met ‘u’ of met ‘jij’ zullen we die variabele in de test moeten isoleren en moeten testen in een testvariant waarin alleen die variabele verschilt ten opzichte van een andere testvariant. Zodra in een testvariant meer dan één variabele wijzigt, is een verschil in resultaat achteraf niet meer toe te wijzen aan één specifieke variabele.

Dit hoeft niet te betekenen dat we bovenstaande testopzet niet nog verder kunnen uitbreiden. Met een testvariant waarin we prijzen van producten vermelden, bijvoorbeeld. Dat kan, zolang we er maar voor zorgen dat er ook een testvariant is waarin de prijzen van producten niet worden vermeld en verder alles gelijk is. Dan kunnen we achteraf een uitspraak doen over de invloed van die ene specifieke variabele: het vermelden van prijzen van producten.

In bovenstaande testopzet verschilt B op één punt van A (video), C verschilt op één punt van A (poll) en D verschilt op één punt van A (onderwerpregel).

Wat kun je concluderen uit de conversie op onderstaande abonneewer-vingsactie voor een consumententijdschrift?

Binnenwerk Meer opens, meer clicks.indd 20 25-08-15 11:30

B E G I N S E L E N V O O R S U C C E S V O L T E S T E N

21

TESTVARIANT CONVERSIE (INDEX)

Jaarabonnement + gratis draadloze muis 100

Tweejaarsabonnement + gratis webcam 196

Tabel 3.2 Responsindex van test abonneewerving

Deze test laat zien dat de ene testvariant goed is voor 96 procent meer conversie dan de andere testvariant. Een mooi resultaat, maar wat veroorzaakt nu precies dit grote verschil? Is het de duur van het abon-nement (één jaar versus twee jaar) of het geschenk (draadloze muis versus webcam)? Dat laat deze test niet zien.

Stel nu dat je een e-mailing met enkele testvarianten voorbereidt en je wilt weten wat de invloed is van elk van deze factoren, wat doe je dan? Het toevoegen van één testvariant is voldoende: bijvoorbeeld twee-jaarsabonnement + gratis draadloze muis. Je testopzet ziet er dan zo uit:

TESTVARIANT ABONNEMENTSDUUR GESCHENK

A 1 jaar draadloze muis

B 2 jaar webcam

C 2 jaar draadloze muis

Tabel 3.3 Testopzet voor e-mailing met verschillende testvariabelen

Met deze testopzet kun je na afloop van de test wél zeggen wat effec-tiever is:

F Jaarabonnement of tweejaarsabonnement: hiervoor vergelijk je testvariant A met testvariant C.

F Webcam of draadloze muis: hiervoor vergelijk je testvariant B met testvariant C.

Binnenwerk Meer opens, meer clicks.indd 21 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

22

3.3 TEST MET REPRESENTATIEVE GROEPEN

Als je een steekproef neemt uit een veel groter bestand met e-mailadres-sen (de totale populatie) met het doel een uitspraak te doen over het resultaat van een e-mailing aan het totale bestand, moeten de voor de steekproef geselecteerde e-mailadressen vanzelfsprekend representatief zijn voor dat totale bestand.

Bij zo’n test moet je zeker weten dat de groep die je in de testfase bena-dert, qua samenstelling identiek is aan de groep aan wie je zult uitrollen. Tenzij je juist wilt weten hoe verschillende groepen of klantsegmenten ten opzichte van elkaar reageren. Dan moeten de groepen die je in de testfase benadert qua samenstelling juist wél van elkaar verschillen. Terwijl alle andere factoren (product, propositie, prijs, design, teksten en afbeeldingen) dan zoveel mogelijk gelijk blijven.

De wijze van steekproeftrekken is van invloed op de representativi-teit van de groepen die in de test worden betrokken. E-mailadressen kunnen aselect (random) of select worden getrokken. Bij een aselecte steekproef worden e-mailadressen geselecteerd (getrokken) onafhan-kelijk van bepaalde kenmerken of karakteristieken van die adressen. Elk e-mailadres heeft evenveel kans om geselecteerd te worden. Een aselect getrokken steekproef vormt een afspiegeling van de populatie waaruit deze is getrokken.

Bij een selecte steekproef worden e-mailadressen geselecteerd vol-gens een vooraf bepaald selectiecriterium of bepaalde selectiecriteria. Bijvoorbeeld: ‘klanten die het afgelopen jaar bij ons hebben gekocht’ of ‘kopers van product X’ of ‘vrouwen tussen 25 en 40 jaar’. Elk e-mailadres heeft dan niet evenveel kans geselecteerd te worden.

Je kunt ook systematisch te werk gaan en e-mailadressen selecteren volgens een vooraf gedefinieerde systematiek. Als we uit een bestand van 200.000 e-mailadressen een steekproef willen nemen van 10.000 adressen, kunnen we bijvoorbeeld elk 20ste e-mailadres selecteren. Dan spreken we van een systematische steekproef.

Als je ervoor kiest bij elk n-de e-mailadres een cluster van een x-aantal daaropvolgende e-mailadressen te selecteren, noem je dat een syste-matische clustersteekproef. We kunnen uit een bestand van 200.000 e-mailadressen een steekproef van 10.000 e-mailadressen trekken door systematisch na elke 200 adressen een cluster van 10 adressen trekken. Je trekt op deze manier in totaal 1.000 keer 10 e-mailadressen.

Binnenwerk Meer opens, meer clicks.indd 22 25-08-15 11:30

B E G I N S E L E N V O O R S U C C E S V O L T E S T E N

23

Hierop zijn varianten mogelijk, zoals de clustersteekproef, ook wel getrapte steekproef genoemd, waarbij eerst clusters worden gemaakt (bijvoorbeeld een cluster ‘vrouwelijke klanten’ en een cluster ‘manne-lijke klanten’, waarna per cluster e-mailadressen worden genomen. Bijvoorbeeld: 5.000 e-mailadressen uit de cluster ‘vrouwelijke klanten’ en 5.000 adressen uit de cluster ‘mannelijke klanten’. Deze wijze van steekproeftrekken pas je toe als je er zeker van wilt zijn dat bepaalde clusters in gelijke mate in de test vertegenwoordigd zijn.

Ten slotte kun je ook werken met zogeheten nulgroepen: e-mailadressen die je uitsluit van testen, met als doel te zien wat er zou zijn gebeurd als je niets zou hebben gedaan.

3.4 WIJS OPENS EN CLICKS TOE AAN DE JUISTE VARIANT

Om testen op hun juiste waarde te kunnen schatten, is het belangrijk de resultaten binnen een testprogramma aan de juiste testvariant toe te wijzen. Je wilt per slot van rekening weten of zich verschillen aftekenen tussen de ene en de andere variant. Je moet alle respons goed kunnen traceren en aan de juiste testvariant toewijzen. Voorzie elke variant van een eigen code en/of een eigen landingspagina (waar je verkeer kunt meten en vergelijken met verkeer op een andere landingspagina), een eigen responsformulier, ordernummer of actiecode. Je weet dan achteraf precies welke testvariant hoeveel clicks en conversie heeft opgeleverd. Het coderen van de verschillende varianten is essentieel om clicks en conversie achteraf te herleiden naar de bron.

Als er bij het coderen iets mis is gegaan, bestaat achteraf nog de moge-lijkheid te traceren uit welke testgroep een respondent afkomstig is en welke testvariant hij heeft ontvangen. Een kwestie van de gegevens van respondenten achteraf vergelijken met de gegevens van testgroepen die zijn gemaild en je weet welke respondent uit welke mailgroep afkomstig is en welke testvariant hij heeft ontvangen. Het is een omweg, maar wel een manier om uiteindelijk toch te weten te komen welke testvariant het beste heeft gescoord.

Binnenwerk Meer opens, meer clicks.indd 23 25-08-15 11:30

M E E R O P E N S , M E E R C L I C K S

24

3.5 CHECK ALLES - EN CHECK ALLES OPNIEUW

Planning, coördinatie en begeleiding zijn van belang voor het slagen van testacties in e-mailmarketing. Goede afspraken alleen zijn niet genoeg. Check alles, vooraf, tijdens en achteraf:

R Check of elke testvariant in de testopzet een andere testvariant kent die slechts op één punt verschilt.

R Check of de persoonlijke gegevens in de verschillende testvari-anten correct zijn vermeld.

R Check of de opens, clicks en conversie op de verschillende testvarianten goed worden gemeten en in de rapportage goed worden toegewezen aan de juiste testvariant.

R Check voorafgaand aan verzending of je callcenter en klanten-service adequaat zijn geïnstrueerd. Check of het fulfilment in de startblokken staat.

R Check met behulp van schaduw-e-mailadressen in het bestand (zogeheten sleepers) of de e-mailing conform planning is ver-zonden.

3.6 ZO MAAK JE TESTEN NÓG LEUKER!

Testen is leuk en spannend. Je kunt het nóg leuker en spannender maken door er een speels competitie-element aan toe te voegen. Laat je col-lega’s vooraf raden welke testvariant als beste uit de bus komt, met als inzet een goede fles wijn, twee bioscoopkaartjes of een dinerbon. Spreek duidelijk met elkaar af wat wordt bedoeld met ‘beste’: meeste opens, meeste clicks, hoogste conversie, meeste bestellingen, hoogste omzet of winst?

Binnenwerk Meer opens, meer clicks.indd 24 25-08-15 11:30