Testy A/B na stronie firmowej: kiedy mają sens, a kiedy szkoda ruchu

W teście A/B część odwiedzających widzi wersję A strony, a część wersję B, i porównuje się, która daje więcej konwersji. Metoda jest świetna, ale ma jeden warunek, o którym łatwo zapomnieć: potrzebuje dużo danych.

Ile ruchu naprawdę potrzeba

Weźmy przykład. Strona ma konwersję 2%, czyli dwa zapytania na sto odwiedzin. Chcesz sprawdzić, czy nowa wersja podniesie ją do 2,4%, co byłoby poprawą o jedną piątą. Przy standardowych założeniach, czyli 95% pewności i 80% szans na wykrycie takiej różnicy, potrzeba około 21 000 odwiedzin na każdy wariant. Razem ponad 42 000.

Jeśli ta podstrona ma 5 000 odwiedzin miesięcznie, test trwałby ponad osiem miesięcy. W tym czasie zmienią się kampanie, sezon i sama oferta, więc wynik i tak byłby trudny do zinterpretowania.

Im mniejsza różnica, którą chcesz wykryć, tym więcej ruchu potrzebujesz. Dlatego małe zmiany, jak kolor przycisku, na stronach z umiarkowanym ruchem praktycznie nie dają się rzetelnie przetestować.

Zasady, bez których test kłamie

1. Ustal wielkość próby przed startem. Skorzystaj z kalkulatora wielkości próby i nie kończ testu wcześniej.
2. Nie podglądaj i nie zatrzymuj, gdy wynik „wygląda dobrze”. Jeśli sprawdzasz wynik codziennie i kończysz test przy pierwszej istotnej różnicy, znacznie rośnie szansa, że ogłosisz zwycięstwo, którego nie ma.
3. Testuj pełne tygodnie. Ruch w poniedziałek i w sobotę zachowuje się inaczej.
4. Wybierz jedną główną metrykę przed startem, a nie po zobaczeniu wyników.
5. Nie nakładaj testów na siebie na tej samej ścieżce.
6. Sprawdź podział ruchu. Jeśli miał być pół na pół, a wyszło 55 do 45, coś w konfiguracji nie działa i wynik nie jest wiarygodny.

Co warto testować

Skoro test wymaga dużo ruchu, warto testować zmiany, które mogą dużo zmienić:

• nagłówek i obietnicę w pierwszym ekranie,
• układ oferty, na przykład pakiety zamiast jednej ceny,
• długość formularza i to, o co w nim pytasz,
• sposób pokazania ceny,
• kolejność sekcji na stronie usługi.

Kolor przycisku zostaw na koniec, o ile w ogóle.

Co robić, gdy ruchu jest za mało

Większość stron firmowych B2B ma za mało ruchu na rzetelne testy A/B. To nie znaczy, że decyzje trzeba podejmować na ślepo:

• Testy z użytkownikami. Kilka rozmów, w których osoby z grupy docelowej wykonują zadania na stronie, zwykle pokazuje największe problemy. Nie daje procentów, ale daje powody.
• Nagrania sesji i mapy kliknięć. Pokazują, gdzie ludzie się zatrzymują, czego szukają i gdzie rezygnują.
• Porównanie przed i po. Mniej pewne niż test, bo w międzyczasie zmienia się wiele rzeczy, ale przy dużej zmianie i odnotowanym kontekście daje sensowny sygnał.
• Rozmowy ze sprzedażą. Pytania, które klienci zadają handlowcom, pokazują, czego strona nie wyjaśnia.

Wyniki zmian warto śledzić w tym samym arkuszu co resztę liczb, o którym pisaliśmy przy raporcie marketingowym dla zarządu.

Narzędzia

Po wyłączeniu przez Google narzędzia Optimize we wrześniu 2023 roku firmy korzystają z wielu innych rozwiązań, od prostych narzędzi do testów wizualnych po testy uruchamiane w kodzie strony. Wybór narzędzia jest mniej ważny niż zasady z tego artykułu: żadne narzędzie nie uratuje testu na zbyt małej próbie.

Jeśli Twoja strona ma ruch, ale nie przynosi zapytań, zacznij od sprawdzenia jej struktury i treści, zanim zaczniesz testować detale. Zobacz, jak pracujemy nad stronami internetowymi.