A/B-test på företagets webbplats: när det lönar sig och när det slösar trafik

I ett A/B-test ser en del av besökarna version A av en sida och andra version B, och man jämför vilken som ger fler konverteringar. Metoden är utmärkt, men den har ett villkor som är lätt att glömma: den kräver mycket data.

Hur mycket trafik du faktiskt behöver

Ta ett exempel. En sida konverterar 2 %, två förfrågningar per hundra besök. Du vill se om en ny version lyfter det till 2,4 %, alltså en förbättring med en femtedel. Med vanliga antaganden, 95 % säkerhet och 80 % chans att upptäcka skillnaden, behövs omkring 21 000 besök per variant. Totalt över 42 000.

Om sidan har 5 000 besök i månaden skulle testet pågå i mer än åtta månader. Under den tiden ändras kampanjerna, säsongen och själva erbjudandet, så resultatet skulle ändå vara svårt att tolka.

Ju mindre skillnad du vill upptäcka, desto mer trafik behöver du. Därför går små ändringar, som färgen på en knapp, i praktiken inte att testa tillförlitligt på webbplatser med måttlig trafik.

Utan de här reglerna ljuger testet

1. Bestäm urvalsstorleken innan du startar. Använd en kalkylator för urvalsstorlek och avsluta inte testet i förtid.
2. Kika inte och stoppa inte när resultatet ”ser bra ut”. Kollar du varje dag och avbryter vid den första signifikanta skillnaden ökar risken kraftigt att du utser en vinnare som inte finns.
3. Testa hela veckor. Trafiken på måndagar och lördagar beter sig olika.
4. Välj ett huvudmått innan du startar, inte efter att ha sett resultaten.
5. Kör inte överlappande tester på samma väg.
6. Kontrollera trafikfördelningen. Skulle den vara 50/50 och blev 55/45 är något fel i uppsättningen och resultatet är inte tillförlitligt.

Vad som är värt att testa

Eftersom ett test kräver mycket trafik, testa ändringar som kan göra stor skillnad:

• rubriken och löftet på första skärmen,
• erbjudandets upplägg, till exempel paket i stället för ett enda pris,
• formulärets längd och vad du frågar efter,
• hur priset presenteras,
• ordningen på sektionerna på en tjänstesida.

Låt knappfärgen komma sist, om alls.

Vad du gör när trafiken inte räcker

De flesta B2B-webbplatser har för lite trafik för tillförlitliga A/B-tester. Det betyder inte att besluten måste fattas i blindo:

• Användartester. Några sessioner där personer ur målgruppen löser uppgifter på webbplatsen visar oftast de största problemen. Du får inga procentsatser, men du får skälen.
• Sessionsinspelningar och klickkartor. De visar var folk stannar, vad de letar efter och var de ger upp.
• Jämförelse före och efter. Mindre säkert än ett test, eftersom mycket ändras under tiden, men vid en stor förändring och med sammanhanget noterat ger det en rimlig signal.
• Samtal med sälj. Frågorna kunderna ställer till säljarna visar vad webbplatsen inte förklarar.

Det lönar sig att följa resultatet av ändringar i samma ark som övriga siffror, som vi beskrev i marknadsrapporten för ledningen.

Verktyg

Sedan Google stängde Optimize i september 2023 använder företag många andra verktyg, från enkla verktyg för visuella tester till tester som körs i webbplatsens kod. Valet av verktyg är mindre viktigt än reglerna i den här artikeln: inget verktyg räddar ett test med för litet urval.

Har din webbplats trafik men inga förfrågningar, börja med att se över struktur och innehåll innan du testar detaljer. Se hur vi arbetar med webbplatser.