Optimaliseren door te testenHet antwoord op al uw vragen

2 september 2010DM Summit

Walter van der Scheer, Copernica BV

Even voorstellen…..

Walter van der ScheerSales manager sinds 2004 bij Copernica BV

Passie voor:

• Marketing

• Sales

twitter.com/wvanderscheer

www.linkedin.com/in/waltervanderscheer

www.copernica.com

Dé meest complete marketing software voor campagnes met e-mail, webpagina's, sms en PDF.

Eén omgeving voor multichannel campagnes

Gebruiksvriendelijke interface

Uitgebreide statistieken en testmogelijkheden

Beschikbaar in meerdere talen

Koppelen met externe systemen (API)

Plugin beschikbaar

Copernica Marketing Software

• De basis van testen in e-mailmarketing

• Optimaal en betrouwbaar testen

• Testdoelen en mogelijke tests

• Valkuilen van testen

Programma

Onderzoek Testen

Verschil tussen onderzoek & testen

De basis van testen in e-mailmarketing

Onderzoek Testen

Verschil tussen onderzoek & testen

Onderzoek verzamelt gegevens

(de prijs is te hoog).

Testen geeft inzicht in daadwerkelijk gedrag op basis van 1 veranderde variabele (dit is de prijs die ons het meeste oplevert).

Resultaten meten geeft algemeen inzicht in gedrag (bij deze prijs verkopen we

zoveel producten).

Testen heeft voorspellende kracht op toekomstige effecten.

De basis van testen in e-mailmarketing

Begeef je niet (direct) op glad ijs!

De basis van testen in e-mailmarketing

Test op basis van je strategische doelen

De basis van testen in e-mailmarketing

• Database

• Creatie

• Personalisatie

• Testing

• Verzenden

• Respons & handling

• Analyse & evaluatie

Test op basis van je strategische doelen

De basis van testen in e-mailmarketing

Testen is geendoel op zich.

Strategische doelen

De basis van testen in e-mailmarketing

Onderdeel van de totale marketingmix

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

58%van de consumentenbegint de dag methet lezen van e-mails.ExactTarget“E-mail X-Factor Study” (2010)

De rol van e-mailmarketing

41%van de online tijd opmobiel wordt besteedt aan e-mail“Nielsen, juni 2010”

De basis van testen in e-mailmarketing

Voordelen van e-mail• Direct

• Persoonlijk

• Massamedium op maat

• Meetbaar

• Relatief goedkoop

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Elk voordeel hep z’n…..

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Worstelen met spam-filters

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Dringen om de aandacht van de lezer

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Hotmail Sweep functie

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

0% 10% 20% 30% 40% 50% 60%

Anders

We sturen minder mails

We hebben meer budget

We hebben minder budget

Geen verandering

We hebben minder personeel

We mailen frequenter

Compensatie andere campagnes

We proberen relevanter te zijn

Welk effect heeft de economische situatie op uw e-mailmarketingactiviteiten? (Forrester Research)

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Relevant zijn kost meerinspanning en levert meer op.

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

72%van de consumenten verwijderene-mailberichten wegens irrelevantie.Forrester

75%van consumenten geven 'gebrek aan relevantie' als voornaamste reden om zich af te melden van lijsten, dicht gevolgd door 'wordt te vaak gemaild' (73%). Merkle Interactive Services (2009)

85%van de e-mail in Europa komt goed aan, 3,6% landt in de 'junk' of 'bulk' folders, 11% wordt niet bezorgd.Return Path (2010)

De rol van e-mailmarketing

De basis van testen in e-mailmarketing

Optimaal & betrouwbaar testen

De basis van testen in e-mailmarketing

• 1 variabele vs. meerdere tegelijk

• 2 e-mail varianten vs. velen → dus ook meer testgroepen, groter bestand nodig

• A/B makkelijk in te zetten bij elke campagne vs. multivariatie complexer en meer tijdsintensief in opzet

A/B test of multivariatie

Optimaal & betrouwbaar testen

Variabelen:• kleur van actiebuttons

• Tekst op actiebutton

• 40 verschillende actiebuttons (kleur, tekst)

Hoogste scores voor:• Paarse button (23%)

• ‘mijn persoonlijke abonneescan’ (61.9%)

• Alle 4 teksten met het woord ‘mijn’ of ‘persoonlijk’ erin, dubbelop = beste

Bron: 8Seconds, 22Times

A/B test of multivariatie

Optimaal & betrouwbaar testen

Hoe bepaal je nu de testgrootte en betrouwbaarheid?

Optimaal & betrouwbaar testen

Is je lijst groot genoeg?

Optimaal & betrouwbaar testen

Kun je de resultaten statistisch staven?

Optimaal & betrouwbaar testen

Optimaal & betrouwbaar testen

Dan kun je:• Je betrouwbaarheidseis bijstellen naar bijv. 90 of 85%

• Je test herhalen bij andere campagnes tot je zeker weet of je effect merkt

• Testgroepen procentueel vergroten (tot maximaal 50%)

Omgaan met kleine bestanden

Optimaal & betrouwbaar testen

Size isn’t everythingAls het responsverschil groot genoegis, mag de lijst kleiner zijn

Omgaan met kleine bestanden

Optimaal & betrouwbaar testen

Representativiteit: uitsluiten storende factoren• Juiste doelgroep

• Gelijke(nde) testgroepen

• Verzendtijd, runtijd

• Meerdere variabelen ineens

Optimaal & betrouwbaar testen

Optimaal & betrouwbaar testen

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

• Testdoelen

• Wat is een goed testdoel?

• Testopties: allerlei soorten tests beschikbaar

• Kiezen welke test jou zal helpen

Testdoelen en mogelijke tests

'waar sta je nu' is essentieel om te bepalen waar je heen wilt/moet/kunt.

Oriënteer je op je situatie

Testdoelen en mogelijke tests

Zoveel mogelijkhedenWaar pak je je winst?

Blijf testen!

Testdoelen en mogelijke tests

Ga je uit vanuit een gut feeling of cijfers?

Vertrouwen op gevoel?

Testdoelen en mogelijke tests

20% Opens

Zegt niets over: welk land dit is, b2b/b2c, branches, unieke kliks/herhaald.

Direct Marketing Association (2010)Op verzendingen aan 'house lists'

7% Click-through (6,64%)

2% Conversie (1,73%)

Hoe respondeert een e-mailing?

Testdoelen en mogelijke tests

• Doelgroep• Opens• Clicks• Afmeldingen• Conversie• Bereik

Wat kan je optimaliseren?

Testdoelen en mogelijke tests

Persoonskenmerk• Geslacht• Leeftijd• Interesses

Segmenten• Regio• Klant/Prospect• Aankoopfrequentie• Branche• Bedrijfsgrootte

Events• Eerste aankoop• Verjaardag• Garantie loopt af• X periode niets gekocht• Reminders versturen• Andere kanalen

integreren

Testdoel: Doelgroep

Testdoelen en mogelijke tests

Onderwerp• Lengte• Emotie• Personalisatie op

ontvanger• Call-to-action• Feitelijk of

wervend

Afzender• Persoon vs.

Bedrijf• Figurehead vs.

accountmanager

Preview pane• Inhoudsopgave in tekstversie• Tekst vs. Beeldheader• Introductie vs. Teaser

vs. Call-to-action

• Aanklikbare header

Testdoel: Open rate

Testdoelen en mogelijke tests

Hyperlinks• Button vs. tekst• Los vs. In tekst- flow• Weinig of veel• Font, highlighting• Aanklikbare afbeeldingen• Plaatsing

Call-to-action/aanbod• Wel of geen incentive• Soort incentive• Plaats & herhaling van de call-to-action

Content• Korte vs. lange

artikelen• Veel vs. weinig content• Lengte van e-mail• Level van detail in

informatie• Dynamische content

Testdoel: Click (through) rate (1/3)

Testdoelen en mogelijke tests

Tone of voice• Je vs. U vs. onpersoonlijk• Zakelijk vs. intiem• Activerend vs. Informerend vs. Betogend• Level van detail in informatie• Personalisatie

Variaties in font/tekstindeling• Lettertype & lettergrootte• Lettergrootte• Alles hetzelfde of varieren• Uitlichten van kernwoorden/zinnen

Testdoel: Click (through) rate (2/3)

Testdoelen en mogelijke tests

Design• Beeld/tekstverhouding• Aanklikbare afbeeldingen• Kleurstelling• Product vs. persoon op afbeeldingen• Speels of strak design/indeling• Veel of weinig opmaak• Afhankelijk van ontvanger

Testdoel: Click (through) rate (3/3)

Testdoelen en mogelijke tests

Splitrun DM Summit (HTML)

Testdoel: Conversie verhogen

Testdoelen en mogelijke tests

Splitrun DM Summit(Tekstversie)

Testdoel: Conversie verhogen

Testdoelen en mogelijke tests

• Software gebruikers

• Testgroepgrootte 12%

– Versie A: 2% kliks

– Versie B: 5% kliks

Representatief?Nee: bij dit verschil in kliks had de testgroep 5x groter moeten zijn voor 95% betrouwbaarheid. Was het verschil 2 om 6% dan was de betrouwbaarheid 80%.

Copernica remindermailing

Testdoelen en mogelijke tests

Kliks Impressies Overig Fout

Testdoel: Conversie verhogen

Testdoelen en mogelijke tests

Versie 1Vergeet je nietin te schrijven voorhet DMSummit

5%

19%

68%

8% 7%

25%

56%

12%

Versie 2Vergroot je kennisop het DMSummit

6%

28%

58%

8%

Versie 3DMSummit2010,iets voor jou?(Tekstversie)

Uiteindelijk verzonden document:Vergroot je kennis op het DMSummit

Testdoel: Conversie verhogen

Kliks

Impressies

Overig

Fout

7%

25%

56%

12%

Testdoelen en mogelijke tests

Het 'Mick Jagger' effect

“Brains finish before beauty.”

Testdoelen en mogelijke tests

Relevante content• Afhankelijk van ontvanger• Segmentatie van doelgroep• Navragen

Mailfrequentie• Vaker• Minder vaak

Testdoel: Afmeldingen reduceren (1/3)

Testdoelen en mogelijke tests

Goede timing• Andere dag van de week• Ochtend, middag, avond• Afhankelijk van

ontvanger

Tone-of-voice• Minder commercieel• Intiemer vs. Zakelijker• Ingetogen vs.

uitbundig

Testdoel: Afmeldingen reduceren (2/3)

Testdoelen en mogelijke tests

Vertrouwen• Naam -/merkherkenning verhogen• Disclaimer toevoegen• Expliciet benadrukken opt-in/opt-out• Voorkeurencentrum voor ontvangers• Afmeldlink bovenaan• Toevoegen unsubscribe header

Testdoel: Afmeldingen reduceren (3/3)

Testdoelen en mogelijke tests

Meer verkopen• Remindermails versturen• Andere kanalen integreren• Orderproces optimaliseren

Testdoel: Conversie verhogen

Testdoelen en mogelijke tests

Anderen bereiken• Tell-a-friend• Share-to-social• Viral

Testdoel: bereik vergroten

Testdoelen en mogelijke tests

Veel mogelijkheden, waar liggen je ‘quick wins’?

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

A/B testing inCopernica.

Geloof niet altijd debest-practices.

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

Test type Doel Expert opinies In-market resultaten

Geanimeerde gifs Kliks verhogen Oud & achterhaald; gebruik statische afbeeldingen

Kliksverhoging 600%

Lange onderwerpregels

Opens verhogen Leidt tot verwijderen van berichten; slecht idee

Open-verhoging 500%

Verzenddag Reengage readers In het weekend verzenden vermijden

Engaged 5% of prior non-responders

‘Binnenkort’ (coming soon) e-mail

Relatie opbouwen Kan werken, maar is zonde van de tijd

2x meer opens dan andere willekeurige e-mails

Bron: http://www.clickz.com/clickz/column/1703181/dont-always-listen-experts

Geloof niet altijd de best-practices

Testdoelen en mogelijke tests

Testdoelen en mogelijke tests

Test je e-mail intern voordat je hem opje doelgroep afstuurt!

Bereik iedere individuele ontvanger

Bereik iedere ontvanger

28%van commerciële e-mails naar zakelijkeadressen bereikt de inbox niet.Return Path (2009)

38%van consumenten geeft 'gebrek aan relevantie' als voornaamste reden om zich af te melden van lijsten, dicht gevolgd door 'wordt te vaak gemaild' (73%). Merkle Interactive Services (2009)

35%van je berichten komt aan als je IP-adressen op minimaal 1 zwarte lijst staatReturn Path (2010)

Deliverability

Bereik iedere ontvanger

Spamgevoelige content: vermijd woorden zoals ‘gratis’ of ‘fuchsia’

Echte afzender: dus geen no_reply@...

Vermijd spamgevoelige content

Bereik iedere ontvanger

• SPF• SenderID• DKIM

Controleer afzendergegevens

Bereik iedere ontvanger

Controleer je ip adres

Bereik iedere ontvanger

Litmus app: Weergave in veelvoorkomende browsers

Renderability

Bereik iedere ontvanger

• Online spamchecker (http://www.isnotspam.com)

• Copernica spamchecker

Spamcheck

Bereik iedere ontvanger

Checklist e-mail testen voor verzending

Bereik iedere ontvanger

Inhoud• Compleet• Typefouten• Lettertypes (leesbaarheid)• Afbeeldingen kloppend bij de tekst• Tekstversie

Afzender & onderwerp• Bestaand adres• Deliverability

(Blacklists, SPF, SenderID,DKIM• Spamwoorden vermijden zoals

‘gratis’ of ‘fucsia’

Valkuilen van testen

Bereik iedere ontvanger

• Testen kost tijd en geld (maar levert op zijn minst bewijs op dat je

controledocument goed is)

• Bestanden stuk testen (door alleen bezig te zijn met korte termijn)

• Teveel focus op details: is je campagne in de basis wel goed?

• Geen aandacht voor non-respondenten

• Is je aanbieding niet goed of richt je je op de verkeerde doelgroep?

• Teveel focus op vormgeving ipv effectiviteit

Pas op de valkuilen

Valkuilen van testen

No amount of experimentationcan ever prove me right; a singleexperiment can prove me wrong.Albert Einstein (1879 – 1955)

www.copernica.com

Bedankt voor uw aandacht

Walter van der ScheerSales manager

Tel.: +31 (0)23 – 75 10 500

twitter.com/wvanderscheer

www.linkedin.com/in/waltervanderscheer

walter.vanderscheer@copernica.com

www.copernica.com

Borrel!