Testy A/B – co to jest i jak je poprawnie prowadzić?

Czym są testy A/B

Ile ruchu naprawdę potrzeba, żeby wynik coś znaczył

Zdanie „test wymaga wystarczającej liczby odwiedzin” brzmi rozsądnie i niczego nie rozstrzyga, więc policzmy je. Standardowa reguła kciuka dla testu dwustronnego przy mocy 80% i istotności 5% to n ≈ 16 · p · (1 − p) / δ² na wariant, gdzie p to obecny współczynnik, a δ — różnica, którą chcemy wykryć.2

Z	na	Odwiedzin na wariant	Razem
2%	3%	≈ 3 100	≈ 6 300
2%	2,5%	≈ 12 500	≈ 25 000
5%	6%	≈ 7 600	≈ 15 200
5%	7%	≈ 1 900	≈ 3 800

Wnioski z tej tabeli są dwa i oba niewygodne. Po pierwsze, im mniejszą różnicę chcemy wykryć, tym gwałtowniej rośnie potrzebna próba: wykrycie przyrostu o pół punktu procentowego kosztuje czterokrotnie więcej ruchu niż wykrycie całego punktu. Po drugie, przy typowym ruchu małej firmy rzetelny test jednego przycisku trwałby miesiącami. To nie znaczy, że testować nie warto. Znaczy, że przy małym ruchu testuje się zmiany duże, a nie odcień przycisku.

Cztery zasady, żeby test nie zaszkodził widoczności

Częsta obawa brzmi: czy wyszukiwarka nie uzna testu za oszustwo. Google ma na to osobną dokumentację i stawia cztery wymagania.1

Pierwsze dotyczy równego traktowania: „Don’t show one set of URLs to Googlebot, and a different set to humans. This is called cloaking, and is against our spam policies”. Drugie — oznaczenia wariantów: przy teście na wielu adresach należy użyć adresu kanonicznego wskazującego oryginał jako wersję preferowaną. Trzecie dotyczy sposobu kierowania ruchu: „use a 302 (temporary) redirect, not a 301 (permanent) redirect”. Czwarte — sprzątania: po zakończeniu testu trzeba wdrożyć zwycięski wariant i „remove all elements of the test as soon as possible”.

Trzeci punkt bywa źródłem trwałych szkód, bo przekierowanie 301 jest sygnałem zmiany na stałe. Po eksperymencie trudniej wrócić do stanu wyjściowego, skoro wyszukiwarka zdążyła potraktować wariant jako docelowy.

Czas trwania ustala się przed startem, nie w trakcie

Skuteczny test zmienia jeden element naraz, bo inaczej nie wiadomo, co odpowiada za różnicę. Potrzebuje też czasu ustalonego z góry. To jest reguła, którą łamie się najczęściej.

Decyzja „kończymy, bo wygląda dobrze” podjęta po dwóch dniach to najprostszy sposób na fałszywy wniosek: przy małej próbie wyniki wahają się mocno i zawsze trafi się moment, w którym jeden wariant prowadzi. Kto zagląda codziennie i kończy przy pierwszym korzystnym odczycie, mierzy własną niecierpliwość, a nie zmianę. Ten sam mechanizm dotyczy hipotez z audytu UX i zmian w wezwaniu do działania.

Najczęstsze pytania

Czy testy A/B szkodzą widoczności w wyszukiwarce?
Nie, jeśli robot widzi to samo co użytkownicy, warianty wskazują adres kanoniczny, przekierowania są tymczasowe i test zostaje sprzątnięty po zakończeniu.

Dlaczego 302, a nie 301?
Bo 301 oznacza zmianę trwałą. Przy eksperymencie oryginalny adres ma pozostać wersją docelową.

Ile odwiedzin potrzeba do wiarygodnego testu?
Zależy od skali różnicy. Wykrycie wzrostu z 2% na 3% wymaga około 3 100 odwiedzin na wariant, a z 2% na 2,5% — już około 12 500.

Czy można przerwać test wcześniej, gdy jeden wariant prowadzi?
Nie. Przy małej próbie prowadzenie zmienia się losowo, więc wcześniejsze zakończenie mierzy moment zaglądania, a nie skuteczność zmiany.

Źródła

1. Google Search Central, Website testing and Google Search — cztery wymagania dotyczące testów: brak cloakingu, adres kanoniczny na wariantach, przekierowanie tymczasowe i usunięcie elementów testu po zakończeniu. developers.google.com/search/docs/crawling-indexing/website-testing

2. Obliczenie własne z 1.09.2026 według standardowego przybliżenia liczebności próby dla porównania dwóch proporcji (moc 80%, istotność 5%, test dwustronny). Wartości zaokrąglone; są to rzędy wielkości, nie precyzyjne progi.