A/B-test på virksomhedens hjemmeside: hvornår det giver mening, og hvornår det spilder trafik

I en A/B-test ser en del af de besøgende version A af en side og andre version B, og man sammenligner, hvilken der giver flest konverteringer. Metoden er fremragende, men den har én betingelse, som er let at glemme: den kræver mange data.

Hvor meget trafik du reelt har brug for

Tag et eksempel. En side konverterer 2 %, to henvendelser pr. hundrede besøg. Du vil se, om en ny version løfter det til 2,4 %, altså en forbedring på en femtedel. Med de gængse antagelser, 95 % sikkerhed og 80 % chance for at opdage forskellen, skal der omkring 21 000 besøg til pr. variant. I alt over 42 000.

Har siden 5 000 besøg om måneden, ville testen køre i mere end otte måneder. I den tid ændrer kampagnerne, sæsonen og selve tilbuddet sig, så resultatet ville alligevel være svært at tolke.

Jo mindre en forskel du vil opdage, jo mere trafik skal du bruge. Derfor kan små ændringer, som farven på en knap, i praksis ikke testes pålideligt på hjemmesider med moderat trafik.

Regler, uden hvilke testen lyver

1. Fastlæg stikprøvens størrelse, før du starter. Brug en beregner til stikprøvestørrelse, og afslut ikke testen før tid.
2. Kig ikke efter, og stop ikke, når resultatet »ser godt ud«. Tjekker du hver dag og stopper ved den første signifikante forskel, stiger risikoen kraftigt for, at du udråber en vinder, der ikke findes.
3. Test i hele uger. Trafikken om mandagen og om lørdagen opfører sig forskelligt.
4. Vælg ét primært måltal, før du starter, ikke efter at have set resultaterne.
5. Kør ikke overlappende test på det samme forløb.
6. Tjek fordelingen af trafikken. Skulle den være 50/50 og blev 55/45, er der noget galt i opsætningen, og resultatet er ikke pålideligt.

Hvad der er værd at teste

Fordi en test kræver meget trafik, så test ændringer, der kan gøre en stor forskel:

• overskriften og løftet på den første skærm,
• tilbuddets opbygning, for eksempel pakker i stedet for én pris,
• formularens længde, og hvad du spørger om,
• hvordan prisen præsenteres,
• rækkefølgen af sektioner på en ydelsesside.

Lad knapfarven komme til sidst, hvis den overhovedet skal testes.

Hvad du gør, når trafikken ikke rækker

De fleste B2B-hjemmesider har for lidt trafik til pålidelige A/B-test. Det betyder ikke, at beslutningerne skal træffes i blinde:

• Brugertest. Et par sessioner, hvor personer fra målgruppen løser opgaver på hjemmesiden, viser som regel de største problemer. Du får ingen procenter, men du får årsagerne.
• Sessionsoptagelser og klikkort. De viser, hvor folk stopper op, hvad de leder efter, og hvor de giver op.
• Sammenligning før og efter. Mindre sikkert end en test, fordi meget ændrer sig imens, men ved en stor ændring og med konteksten noteret giver det et rimeligt signal.
• Samtaler med salg. De spørgsmål, kunderne stiller sælgerne, viser, hvad hjemmesiden ikke forklarer.

Det kan betale sig at følge resultatet af ændringer i det samme ark som resten af tallene, som vi beskrev i marketingrapporten til ledelsen.

Værktøjer

Siden Google lukkede Optimize i september 2023, har virksomheder brugt mange andre værktøjer, fra enkle visuelle testværktøjer til test, der kører i hjemmesidens kode. Valget af værktøj er mindre vigtigt end reglerne i denne artikel: intet værktøj redder en test med for lille en stikprøve.

Har din hjemmeside trafik, men ingen henvendelser, så start med at gennemgå struktur og indhold, før du tester detaljer. Se, hvordan vi arbejder med hjemmesider.