Optimaliseren door te testen - Walter van der Scheer, Copernica BV

Optimaliseren door te testenHet antwoord op al uw vragen

2 september 2010DM Summit

Walter van der Scheer, Copernica BV

Even voorstellen…..

Walter van der ScheerSales manager sinds 2004 bij Copernica BV

Passie voor:

• Marketing

• Sales

twitter.com/wvanderscheer

www.linkedin.com/in/waltervanderscheer

www.copernica.com

Dé meest complete marketing software voor campagnes met e-mail, webpagina's, sms en PDF.

Eén omgeving voor multichannel campagnes

Gebruiksvriendelijke interface

Uitgebreide statistieken en testmogelijkheden

Beschikbaar in meerdere talen

Koppelen met externe systemen (API)

Plugin beschikbaar

Copernica Marketing Software

• De basis van testen in e-mailmarketing

• Optimaal en betrouwbaar testen

• Testdoelen en mogelijke tests

• Valkuilen van testen

Programma

Onderzoek Testen

Verschil tussen onderzoek & testen

De basis van testen in e-mailmarketing

Onderzoek Testen

Verschil tussen onderzoek & testen

Onderzoek verzamelt gegevens

(de prijs is te hoog).

Testen geeft inzicht in daadwerkelijk gedrag op basis van 1 veranderde variabele (dit is de prijs die ons het meeste oplevert).

Resultaten meten geeft algemeen inzicht in gedrag (bij deze prijs verkopen we

zoveel producten).

Testen heeft voorspellende kracht op toekomstige effecten.


Begeef je niet (direct) op glad ijs!


Test op basis van je strategische doelen


• Database

• Creatie

• Personalisatie

• Testing

• Verzenden

• Respons & handling

• Analyse & evaluatie

Test op basis van je strategische doelen


Testen is geendoel op zich.

Strategische doelen


Onderdeel van de totale marketingmix

De rol van e-mailmarketing


58%van de consumentenbegint de dag methet lezen van e-mails.ExactTarget“E-mail X-Factor Study” (2010)


41%van de online tijd opmobiel wordt besteedt aan e-mail“Nielsen, juni 2010”


Voordelen van e-mail• Direct

• Persoonlijk

• Massamedium op maat

• Meetbaar

• Relatief goedkoop



Elk voordeel hep z’n…..



Worstelen met spam-filters



Dringen om de aandacht van de lezer



Hotmail Sweep functie



0% 10% 20% 30% 40% 50% 60%

Anders

We sturen minder mails

We hebben meer budget

We hebben minder budget

Geen verandering

We hebben minder personeel

We mailen frequenter

Compensatie andere campagnes

We proberen relevanter te zijn

Welk effect heeft de economische situatie op uw e-mailmarketingactiviteiten? (Forrester Research)



Relevant zijn kost meerinspanning en levert meer op.



72%van de consumenten verwijderene-mailberichten wegens irrelevantie.Forrester

75%van consumenten geven 'gebrek aan relevantie' als voornaamste reden om zich af te melden van lijsten, dicht gevolgd door 'wordt te vaak gemaild' (73%). Merkle Interactive Services (2009)

85%van de e-mail in Europa komt goed aan, 3,6% landt in de 'junk' of 'bulk' folders, 11% wordt niet bezorgd.Return Path (2010)



Optimaal & betrouwbaar testen


• 1 variabele vs. meerdere tegelijk

• 2 e-mail varianten vs. velen → dus ook meer testgroepen, groter bestand nodig

• A/B makkelijk in te zetten bij elke campagne vs. multivariatie complexer en meer tijdsintensief in opzet

A/B test of multivariatie


Variabelen:• kleur van actiebuttons

• Tekst op actiebutton

• 40 verschillende actiebuttons (kleur, tekst)

Hoogste scores voor:• Paarse button (23%)

• ‘mijn persoonlijke abonneescan’ (61.9%)

• Alle 4 teksten met het woord ‘mijn’ of ‘persoonlijk’ erin, dubbelop = beste

Bron: 8Seconds, 22Times

A/B test of multivariatie


Hoe bepaal je nu de testgrootte en betrouwbaarheid?


Is je lijst groot genoeg?


Kun je de resultaten statistisch staven?


Dan kun je:• Je betrouwbaarheidseis bijstellen naar bijv. 90 of 85%

• Je test herhalen bij andere campagnes tot je zeker weet of je effect merkt

• Testgroepen procentueel vergroten (tot maximaal 50%)

Omgaan met kleine bestanden


Size isn’t everythingAls het responsverschil groot genoegis, mag de lijst kleiner zijn

Omgaan met kleine bestanden


Representativiteit: uitsluiten storende factoren• Juiste doelgroep

• Gelijke(nde) testgroepen

• Verzendtijd, runtijd

• Meerdere variabelen ineens



Testdoelen en mogelijke tests


• Testdoelen

• Wat is een goed testdoel?

• Testopties: allerlei soorten tests beschikbaar

• Kiezen welke test jou zal helpen


'waar sta je nu' is essentieel om te bepalen waar je heen wilt/moet/kunt.

Oriënteer je op je situatie


Zoveel mogelijkhedenWaar pak je je winst?

Blijf testen!


Ga je uit vanuit een gut feeling of cijfers?

Vertrouwen op gevoel?


20% Opens

Zegt niets over: welk land dit is, b2b/b2c, branches, unieke kliks/herhaald.

Direct Marketing Association (2010)Op verzendingen aan 'house lists'

7% Click-through (6,64%)

2% Conversie (1,73%)

Hoe respondeert een e-mailing?


• Doelgroep• Opens• Clicks• Afmeldingen• Conversie• Bereik

Wat kan je optimaliseren?


Persoonskenmerk• Geslacht• Leeftijd• Interesses

Segmenten• Regio• Klant/Prospect• Aankoopfrequentie• Branche• Bedrijfsgrootte

Events• Eerste aankoop• Verjaardag• Garantie loopt af• X periode niets gekocht• Reminders versturen• Andere kanalen

integreren

Testdoel: Doelgroep


Onderwerp• Lengte• Emotie• Personalisatie op

ontvanger• Call-to-action• Feitelijk of

wervend

Afzender• Persoon vs.

Bedrijf• Figurehead vs.

accountmanager

Preview pane• Inhoudsopgave in tekstversie• Tekst vs. Beeldheader• Introductie vs. Teaser

vs. Call-to-action

• Aanklikbare header

Testdoel: Open rate


Hyperlinks• Button vs. tekst• Los vs. In tekst- flow• Weinig of veel• Font, highlighting• Aanklikbare afbeeldingen• Plaatsing

Call-to-action/aanbod• Wel of geen incentive• Soort incentive• Plaats & herhaling van de call-to-action

Content• Korte vs. lange

artikelen• Veel vs. weinig content• Lengte van e-mail• Level van detail in

informatie• Dynamische content

Testdoel: Click (through) rate (1/3)


Tone of voice• Je vs. U vs. onpersoonlijk• Zakelijk vs. intiem• Activerend vs. Informerend vs. Betogend• Level van detail in informatie• Personalisatie

Variaties in font/tekstindeling• Lettertype & lettergrootte• Lettergrootte• Alles hetzelfde of varieren• Uitlichten van kernwoorden/zinnen



Design• Beeld/tekstverhouding• Aanklikbare afbeeldingen• Kleurstelling• Product vs. persoon op afbeeldingen• Speels of strak design/indeling• Veel of weinig opmaak• Afhankelijk van ontvanger



Splitrun DM Summit (HTML)

Testdoel: Conversie verhogen


Splitrun DM Summit(Tekstversie)



• Software gebruikers

• Testgroepgrootte 12%

– Versie A: 2% kliks

– Versie B: 5% kliks

Representatief?Nee: bij dit verschil in kliks had de testgroep 5x groter moeten zijn voor 95% betrouwbaarheid. Was het verschil 2 om 6% dan was de betrouwbaarheid 80%.

Copernica remindermailing


Kliks Impressies Overig Fout



Versie 1Vergeet je nietin te schrijven voorhet DMSummit

5%

19%

68%

8% 7%

25%

56%

12%

Versie 2Vergroot je kennisop het DMSummit

6%

28%

58%

8%

Versie 3DMSummit2010,iets voor jou?(Tekstversie)

Uiteindelijk verzonden document:Vergroot je kennis op het DMSummit


Kliks

Impressies

Overig

Fout

7%

25%

56%

12%


Het 'Mick Jagger' effect

“Brains finish before beauty.”


Relevante content• Afhankelijk van ontvanger• Segmentatie van doelgroep• Navragen

Mailfrequentie• Vaker• Minder vaak

Testdoel: Afmeldingen reduceren (1/3)


Goede timing• Andere dag van de week• Ochtend, middag, avond• Afhankelijk van

ontvanger

Tone-of-voice• Minder commercieel• Intiemer vs. Zakelijker• Ingetogen vs.

uitbundig



Vertrouwen• Naam -/merkherkenning verhogen• Disclaimer toevoegen• Expliciet benadrukken opt-in/opt-out• Voorkeurencentrum voor ontvangers• Afmeldlink bovenaan• Toevoegen unsubscribe header



Meer verkopen• Remindermails versturen• Andere kanalen integreren• Orderproces optimaliseren



Anderen bereiken• Tell-a-friend• Share-to-social• Viral

Testdoel: bereik vergroten


Veel mogelijkheden, waar liggen je ‘quick wins’?





A/B testing inCopernica.

Geloof niet altijd debest-practices.



Test type Doel Expert opinies In-market resultaten

Geanimeerde gifs Kliks verhogen Oud & achterhaald; gebruik statische afbeeldingen

Kliksverhoging 600%

Lange onderwerpregels

Opens verhogen Leidt tot verwijderen van berichten; slecht idee

Open-verhoging 500%

Verzenddag Reengage readers In het weekend verzenden vermijden

Engaged 5% of prior non-responders

‘Binnenkort’ (coming soon) e-mail

Relatie opbouwen Kan werken, maar is zonde van de tijd

2x meer opens dan andere willekeurige e-mails

Bron: http://www.clickz.com/clickz/column/1703181/dont-always-listen-experts

Geloof niet altijd de best-practices



Test je e-mail intern voordat je hem opje doelgroep afstuurt!

Bereik iedere individuele ontvanger

Bereik iedere ontvanger

28%van commerciële e-mails naar zakelijkeadressen bereikt de inbox niet.Return Path (2009)

38%van consumenten geeft 'gebrek aan relevantie' als voornaamste reden om zich af te melden van lijsten, dicht gevolgd door 'wordt te vaak gemaild' (73%). Merkle Interactive Services (2009)

35%van je berichten komt aan als je IP-adressen op minimaal 1 zwarte lijst staatReturn Path (2010)

Deliverability


Spamgevoelige content: vermijd woorden zoals ‘gratis’ of ‘fuchsia’

Echte afzender: dus geen no_reply@...

Vermijd spamgevoelige content


• SPF• SenderID• DKIM

Controleer afzendergegevens


Controleer je ip adres


Litmus app: Weergave in veelvoorkomende browsers

Renderability


• Online spamchecker (http://www.isnotspam.com)

• Copernica spamchecker

Spamcheck


http://www.isnotspam.com/

Checklist e-mail testen voor verzending


Inhoud• Compleet• Typefouten• Lettertypes (leesbaarheid)• Afbeeldingen kloppend bij de tekst• Tekstversie

Afzender & onderwerp• Bestaand adres• Deliverability

(Blacklists, SPF, SenderID,DKIM• Spamwoorden vermijden zoals

‘gratis’ of ‘fucsia’

Valkuilen van testen


• Testen kost tijd en geld (maar levert op zijn minst bewijs op dat je

controledocument goed is)

• Bestanden stuk testen (door alleen bezig te zijn met korte termijn)

• Teveel focus op details: is je campagne in de basis wel goed?

• Geen aandacht voor non-respondenten

• Is je aanbieding niet goed of richt je je op de verkeerde doelgroep?

• Teveel focus op vormgeving ipv effectiviteit

Pas op de valkuilen

Valkuilen van testen

No amount of experimentationcan ever prove me right; a singleexperiment can prove me wrong.Albert Einstein (1879 – 1955)

www.copernica.com

Bedankt voor uw aandacht

Walter van der ScheerSales manager

Tel.: +31 (0)23 – 75 10 500

twitter.com/wvanderscheer

www.linkedin.com/in/waltervanderscheer

[email protected]

www.copernica.com

Borrel!

Optimaliseren door te testen - Walter van der Scheer, Copernica BV

Documents

Transcript of Optimaliseren door te testen - Walter van der Scheer, Copernica BV