Alles wat je wilt weten over A/B testen in e-mail

A/B testen verbetert het succes van je e-mails

Door verschillende testen uit te voeren, leer je wat het beste werkt voor jouw organisatie, jouw doelgroep en jouw e-mails. Op die manier maak je jouw e-mail marketing nóg succesvoller. In deze blog vind je daarom:

1. Best practices: een voorbeeld uit de praktijk;
2. Een overzicht van wat je allemaal kunt testen in je e-mail;
3. Een bewezen stappenplan waarmee jij meteen aan de slag kunt;
4. De meest gestelde vragen over A/B testen én passende antwoorden;
5. Experts aan het woord.

1. Best practices: leer uit de praktijk

Om je enthousiasme aan te moedigen meteen een voorbeeld uit de praktijk. Deze best practice van A/B testen in e-mail leverde Plein een omzetstijging uit e-mail op.

De test: Welk verzendmoment zorgt voor de meeste conversie in de verjaardagscampagne van Plein?

Varianten: 
A: 3 dagen vóór de verjaardag
B: op de verjaardag zelf
C: 3 dagen ná de verjaardag

Het resultaat: De winnaar van deze test is versie C, 3 dagen na de verjaardag. Deze e-mail leverde de meeste omzet op.  

Verderop in deze blog laat ik nog een voorbeeld zien van een A/B test in de profielverrijkingscampagne.

2. Overzicht: dit kun je allemaal testen in je e-mail

Er zijn verschillende aspecten uit je e-mail die je kunt testen. De meeste marketeers testen op onderwerpregel, inhoud van de mail en verzendtijd of -dag. Als je voor het eerst begint met splittesten in e-mail, dan raad ik je aan met deze drie te beginnen. Heb je wat meer ervaring dan is het zeker ook mogelijk om de andere onderdelen te testen.

Dit zijn de belangrijkste onderwerpen om te testen:

Onderwerpregel of snippet (preheader)

• Test of het toevoegen van een (voor)naam positief werkt.
• Test of het toevoegen van bepaalde klantinformatie positief werkt. Denk hierbij aan een woonplaats, gekocht merk of interesse die iemand heeft.
• Test of het toevoegen van emoticon positief werkt.
• Test of een bepaald type onderwerpregel goed werkt. Bijvoorbeeld één met verliezerstaal, nieuwsgierig makend of op basis van een argument.
• Test of de principes van Cialdini je onderwerpregel positief beïnvloeden, zoals schaarste, autoriteit of sympathie.
• Voer bovenstaande tests door in je snippet.
• Test eens wat er gebeurt als je de snippet leeg laat.

 

Inhoud van de e-mail

• Ga ook zeker aan de slag met het testen van de tekst in je mail. Zowel de inhoud als titels zijn belangrijk om te testen.
• Test ook de visual.
• Een aspect dat zeker niet mag ontbreken als je de inhoud test is de CTA. Test die op tekst, kleur, plaats in de mail en visuele aanpassingen.
• Test de productweergave, plaats in de mail en aantal producten.
• Test met USP’s.
• Test met microcopy en welke invloed die heeft op het aantal kliks.

 

Afzendernaam

• Test of het positief is als je de naam van een medewerker in de afzendernaam zet.
• Test of het positief is als je de plaatsnaam van de dichtstbijzijnde vestiging in je afzendernaam zet.

 

Template

• Test of een verandering van de header of footer invloed heeft. Voeg bijvoorbeeld een logo van een beoordelingssite toe aan je header en bekijk of dit een positieve invloed heeft.
• Test met verschillende structuren en hoe ontvangers hierop reageren.

 

Conversie

• Test hoe je onzekerheden weg kan nemen. Die de conversie nu remmen, maar dan juist een boost geven.
• Test met beïnvloedingstechnieken, zoals die van Cialdini.
• Test met zaken die een conversie vergemakkelijken, zoals een formulier in de mail i.p.v. op een landingspagina.

 

Verzenddag of verzendtijd

• Test op welke dag van de week de mails het beste renderen.
• Test dit ook per type doelgroep (segment).
• Test op welke moment van de dag de mails het beste gelezen worden.
• Test dit ook per type doelgroep (segment).

3. Stappenplan: zo ga ook jij succesvol A/B testen

Een succesvolle A/B test bevat 6 stappen. Als je deze volgt, weet je zeker dat je niets overslaat en het beste resultaat uit je test haalt.

Dit zijn de 6 stappen:

1. Research
2. Insights
3. Hypothese
4. Testen
5. Analyseren
6. Evalueren

1. Research

Een A/B test zet je niet zomaar in. Voordat je gaat testen is onderzoek nodig: wat ga je testen en waarom? Waar zie je kansen om je opens, kliks en/of conversie te verbeteren? Wat wijkt af van het gemiddelde? Wat heb je geleerd uit eerdere tests? Allemaal manier om naar je data te kijken.

De metrics die je kunt onderzoeken, zijn o.a.:

• E-mail statistieken
• Conversie statistieken
• Analytics data
• Overige data uit je ESP
• Data uit je webshop

2. Insights

Verzamel de inzichten die je hebt opgedaan tijdens je onderzoek. Prioriteer daarna ieder inzicht. Voor het prioriteren gebruik je een framework. De bekendste zijn ICE, PIE en PXL.

Als je het framework hebt ingevuld, weet je welk inzicht de hoogste prioriteit heeft. Zo geef je antwoord op de vraag of een test makkelijk uit te voeren is, of je die zelf kan uitvoeren of dat je er een collega bij nodig hebt en hoeveel impact je ermee maakt. Het belangrijkste inzicht komt naar voren. Daar ga je mee aan de slag.

3. Hypothese

Stel een hypothese op. Om dit goed te doen, heb je het volgende nodig:

• Het inzicht;
• De verandering die je gaat onderzoeken;
• De doelgroep waar je de e-mail naar gaat sturen;
• Welke verandering je verwacht te maken;
• De periode van de test.

 

Je kunt hier de volgende zin voor gebruiken:

Omdat we zagen dat (issue), verwachten we dat (verandering) voor (aantal personen) zal zorgen voor (impact). We verwachten dat het (procentuele verandering) over een periode van (x uren/dagen)

Ingevuld ziet dit er dan bijvoorbeeld zo uit:

Omdat we zagen dat veel e-mails worden geopend in de ochtend, verwachten we dat het sturen van de e-mails in de ochtend zal zorgen voor een verhoging van de open ratio. We verwachten dat het open percentage met 5,87% stijgt bij een e-mail aan 25.000 klanten.

 

Hoe bepaal ik mijn testgroep en de verwachte verandering?

Het aantal contacten dat je voor je test gebruikt, verschilt per type test. Zo zal je een A/B test op basis van de open ratio naar meer mensen willen sturen, dan een test op basis van kliks. Je kunt precies berekenen hoeveel ontvangers je per test nodig hebt. Bijvoorbeeld via: https://www.evanmiller.org/ab-testing/sample-size.html

Dan de verwachte verandering (het benoemde percentage stijging). Dit bereken je om te bepalen of je test wel significant beter scoort dan de andere variant. Oftewel dat als je de test nogmaals doet er dezelfde uitslag uitkomt. Afhankelijk van de test en de invloed hiervan is het mogelijk om met het percentage significantie te spelen. Bereken je significatie via online tools van bijvoorbeeld Optimizely of SurveyMonkey.

4. Testen

Nu je hypothese duidelijk is, kun je echt gaan testen. Stel je e-mails op en vergeet niet deze te laten controleren. Sluit alle externe invloeden uit voordat je start met je onderzoek.

Plan je test in en wacht totdat de resultaten zichtbaar zijn in je ESP. De periode waarin je gaat testen, heb je vastgelegd in je hypothese. Wacht deze dus af.

5. Analyseren

Als je A/B test succesvol is uitgevoerd, kun je gaan analyseren. Pak je hypothese erbij en vergelijk die met de resultaten van de test. Welke variant heeft het beste gepresteerd? En is die significant beter dan de ander? Is dit laatste zo dan heb je een winnaar.

Beperk jezelf niet tot de cijfers uit je hypothese. Ook andere metrics spelen namelijk mee in het succes van je test. Is de open ratio flink gestegen maar zijn alle andere resultaten enorm gedaald? Dan kun je dat inzicht niet zomaar negeren. Deze cijfers dienen bovendien als inspiratie voor nieuwe testen.

6. Evalueren

Je weet nu of de test geslaagd is. Tijd om die te evalueren. Welke nieuwe inzicht(en) heb je gekregen? Zijn er nieuwe test ideeën ontstaan? Schrijf die beide op en neem die mee als je een volgende test gaat doen.

Als de test een winnaar kent, voer die dan door. Kent de test geen winnaar behoud dan het origineel. Of test verder indien de resultaten daar aanleiding voor geven.

Start nu weer met het onderzoek doen en begin een nieuwe test.

Nog een praktijkvoorbeeld

Welke manier van korting geven heeft het meeste effect? Gebruik je een percentage, een vast bedrag, benoem je de korting al in je onderwerpregel of blijf je daar wat vager over? Voor Dresses Only testten we dat uit.

De test: Welke onderwerpregel zorgt voor een hoger open percentage in de profielverrijkingscampagne?

Varianten:
A: benoemen van 5 euro korting
B: benoemen van een leuke korting

Het resultaat: De winnaar van deze test is versie B. De open ratio lag hierin veel hoger.

4. Vragen: wat je nog meer wil weten over A/B testen

Je weet nu hoe je een goede A/B test opzet en kent de mogelijkheden. Om jouw voorbereiding helemaal compleet te maken, zet ik de meest gestelde vragen over splittesten in e-mail voor je op een rijtje.

Wat moet je als eerste testen in e-mail?
Ga je aan de slag met het optimaliseren van je e-mails, begin dan met het testen van de onderwerpregel, inhoud van de mail of het verzendmoment. Deze onderzoeken zijn eenvoudig uit te voeren en zorgen al snel voor mooie resultaten.

Kun je ook meerdere varianten tegelijk testen?
Het is mogelijk om meerdere varianten tegelijk te testen. Dit noemen we een ABC test en deze kan eventueel ook bestaan uit 4 of meer varianten. Het grote voordeel is dat je meerdere versies tegelijkertijd kunt testen. Heb je bijvoorbeeld 4 goede CTA’s bedacht dan test je die in één keer tegen elkaar.

Een nadeel hiervan is dat je doelgroep groot genoeg moet zijn. Voor veel bedrijven is het daarom beter om enkel A tegen B te testen. Zeker als je met de splittest stuurt op het aantal kliks of op de conversie.

Hoe groot is de kans dat een A/B test slaagt?
Een groot deel van de A/B testen zorgt niet voor een verbetering van je resultaten. De testvariant doet het dus minder goed of is niet significant beter dan de standaardmail. Slaagt meer dan 50% van je testen, dan doe je het erg goed. Het optimaliseren van je e-mail marketing bestaat dus niet uit het uitvoeren van een paar testjes. Het is een doorlopend proces.

Kun je ook campagnes testen of alleen nieuwsbrieven?
Testen is zowel mogelijk bij nieuwsbrieven als e-mails binnen een (automatische) campagne. Het grote voordeel van testen binnen een campagne is dat de verbetering voor lange tijd bruikbaar is.

Let hier wel op met de aantallen en looptijd van de test. Sommige campagnes bevatten te weinig deelnemers voor een goede conclusie. In campagnes is het ook niet altijd van tevoren in te schatten hoeveel personen een mail gaan ontvangen in de komende periode.

Let bij een campagne ook goed op de aantal verstuurde mails en de conversie. Dit aantal kan afwijken doordat je bepaalde ontvangers uitsluit, bv. als je test op moment van verzenden bij een verlaten winkelwagen campagne.

Kun je een nieuwe campagne starten met een test?
Zeker. Ook als er nog geen enkele e-mail is verzonden, kun je direct gaan onderzoeken. Wat ik zelf geregeld test is het verzendmoment bij een verlaten winkelwagen campagne. Is dat na 30 minuten, 1 uur of 2 uur? Bij ieder bedrijf is de uitkomst anders.

Kost A/B testen in e-mail veel tijd?
Een goed opgezette A/B test kost je een paar uur meer dan het versturen van een gewone mail. Hoeveel dat precies is, is afhankelijk van het type test, de ervaring die je hebt met testen en de ESP (e-mail service provider) die je gebruikt.

Kun je meerdere testen tegelijk doen?
Om de beste conclusie te kunnen trekken, test je altijd maar één onderdeel. Doe je dat met meer, dan weet je niet aan welke aanpassing je de resultaten kunt toeschrijven.

Je kunt wel meerdere testen op hetzelfde moment laten lopen. Bijvoorbeeld in verschillende e-mails of verschillende campagnes. Denk hierbij van tevoren goed na welke testen je hebt uitstaan en of die elkaar kunnen beïnvloeden.

Hoe lang moet je testen?
Hoelang je test moet duren is afhankelijk van het type test en de grootte van de doelgroep. Bij een nieuwsbrief heb je sneller een antwoord dan bij een automatische campagne.

Door van tevoren een eindmoment te bepalen, weet je ook wanneer je de e-mail gaat evalueren. Stel een herinnering in, dan vergeet je niet om de winnaar direct door te voeren.

Moet je een test elk jaar herhalen?
Een goed uitgevoerde test die significant beter scoort herhaal je niet. Je richt je daarna op andere testen om meer te leren en verbeteren.

De enige reden om dit wel te doen is als je heel veel nieuwe (andere) inschrijvers krijgt op je mailinglijst. Stel je lijst bestaat nog maar voor 20% uit de contacten die ooit het A/B onderzoek hebben ontvangen, dan is het mogelijk om de test te herhalen. Per test bekijk je of dat nodig is.

5. Experts aan het woord

Wil je nog verder de diepte in met het thema A/B testen in e-mail marketing? We've got you covered!

Campagne Manager Anique deelde haar ervaring in de E-mail Marketing Podcast.

Bekijk haar aflevering via YouTube of luister naar aflevering #11 van de E-mail Marketing Podcast in jouw favoriete podcast app.

 

Kevin Theunissen, E-mail Marketeer bij de Nationale Postcode Loterij ging in gesprek over hoe hij het aanpakt met A/B testen.

Bekijk zijn aflevering via YouTube of beluister aflevering #12 van de E-mail Marketing Podcast in jouw favoriete podcast app.

 

Download zeker ook de waardevolle whitepaper Haal méér uit e-mail met A/B testen. In dit document inspireren we je met talloze testen uit de praktijk. Doel, varianten en resultaat worden getoond om jou nog meer inzicht te geven.

Download de whitepaper.