AB testen met e-mails

AB testen met e-mails lijkt super simpel en het lijkt ook een goed idee. Maar dat is niet altijd zo. En als je niet weet wat je aan het doen bent kan het zomaar gebeuren dat je systeem niet de winnende maar de verliezende e-mail kiest.


Wat is AB testen met e-mails

Bij een een AB test kies je eerst een klein verschil tussen je e-mails:

  • je kiest 2 verschillende titels
  • of je verstuurt ze op 2 verschillende tijden
  • of je stuurt de ene e-mail namens je bedrijf en de andere namens jezelf
  • en kunt zelfs de inhoud compleet laten verschillen

Het doel hiervan is dat je wilt weten welke nieuwsbrief het beste presteert. Je stuurt daarom beide versies naar een klein percentage van je abonnees. Dat is je test groep. Dan wacht je een poosje en daarna stuur je de nieuwsbrief die het beste gepresteerd heeft naar de rest van je abonnees.

Meestal stuur je 10% naar groep A en 10% naar groep B en 80% naar de rest. Maar je kunt natuurlijk ook met andere percentages werken.


Onbetrouwbare resultaten

In alle gevallen moet je rekening mee houden dat je mailinglijst groot genoeg moet zijn voor een AB test. Als je lijst niet groot genoeg is, dan kun je die test wel uitvoeren, maar dan krijg je onbetrouwbare resultaten.

Hier kun je een voorbeeld zien van een test die niet goed is uitgevoerd: te kleine groepen en de tijd tussen de test e-mails en de rest van de e-mails was te kort.

ab test groepen te klein
Te kleine groepen voor een betrouwbare AB test

Je ziet hier 2 groepen van elk 99 abonnees. De bedoeling was dat de versie met de hoogste open rate naar de rest van de abonnees zou gaan.

  • Versie A heeft een open rate van 20,41% en een click rate van 1,02%.
  • Versie B heeft een open rate van 14,14% en een click rate van 0%.

Je zou dus denken dat versie B zou worden aangewezen als de verliezer. Maar versie B is aangewezen als de winnaar.

Dat komt in dit geval doordat de test veel te weinig tijd gekregen heeft. Toen die tijd voorbij was, kwam versie B als beste uit de bus. Maar daarna zijn er nog andere testadressen geweest die geopend hebben. Waardoor na verloop van tijd duidelijk werd dat eigenlijk versie A de winnaar is. Maar toen was de rest van de e-mails al verstuurd.

Onbetrouwbare resultaten kunnen als gevolg hebben dat je niet de winnende nieuwsbrief naar de rest van je abonnees stuurt, maar de verliezende nieuwsbrief! Dat wil je natuurlijk niet.


AB testen met e-mails

De vraag is natuurlijk: hoe moet het dan wel?

Nou, als je een werkelijk betrouwbare test wil uitvoeren, dan moet je minimaal 5000 abonnees hebben in iedere testgroep. En als je een test wilt doen waarbij 10% versie A krijgt en 10% versie B krijgt en 80% de rest krijgt, dan betekent dit dat je heel veel abonnees moet hebben. Minimaal 50.000.

Als je – net als de meeste bedrijven – zoveel abonnees niet hebt, dan heb je niets aan een AB test. Nog sterker: in het voorbeeld hierboven kun je zien dat je dan zelfs nadeel kunt hebben van een AB test.


Geen AB test, maar wat dan?

Als je niet genoeg abonnees hebt voor een betrouwbare AB test en je wilt toch graag testen, dan kun je het anders aanpakken.

Mailchimp

Wat je dan kunt doen heb ik beschreven in het artikel over een splitrun met een kleine mailinglijst.

Om een AB test met Mailchimp uit te kunnen voeren heb je Mailchimp Essentials of een hogere versie nodig. En wist je dat je met Mailchimp Premium kunt testen met maar liefst 8 variabelen?

MailerLite

Als je MailerLite gebruikt heb je voor een AB-test de premium versie nodig.

En als je lijst hier te klein voor is, dan is een auto resend met een persoonlijke opmerking erbij een geweldig alternatief.

Zowel voor Mailchimp als voor Mailerlite kun je op deze website handleidingen vinden. Doe daar je voordeel mee!


De waarde van je mailinglijst

de waarde van je mailinglijst

Met deze rekentool in Excel kun je precies berekenen wat de waarde van je mailinglijst is.

Bouw je een adressenlijst op omdat iedereen je vertelt dat een ondernemer een adressenlijst moet hebben die je mag mailen?

Maar heb je eigenlijk geen idee wat de waarde van je lijst is?

Hier kun je een Excel-sheet opvragen dat je haarfijn gaat vertellen wat de waarde van jouw lijst is.

Vraag ‘m hier op!

En daarna krijg je tips om de waarde van je lijst te verhogen!


Je bent hier: Home » Mailchimp » Mailchimp nieuwsbrieven » AB testen met e-mails
AB testen met e-mails was last modified: by

Zowel Mailchimp als MailerLite hebben me erkend als e-mail expert.

AB testen met e-mails was last modified: by

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *