Przewodnik po testach A/B i ich optymalizacji

W poniższym wpisie dowiesz się więcej o testach A/B, a także różnicach między nimi, a badaniami multiwariantowymi. Postaramy się przybliżyć również, jak warto je przeprowadzać, zarówno w sposób zorganizowany, jak i progresywny. Jednak najważniejszym elementem będzie przedstawienie procesu, jaki stoi za wyborem właściwego dla Ciebie testu.

W tym miejscu warto zastanowić się, czym są testy A/B. To nic innego, jak metoda, która służy porównaniu dwóch wersji między sobą, aby określić, która z nich osiąga lepsze wyniki. Jest to jedna z najczęściej wykorzystywanych metod maksymalizacji wydajności stron, aplikacji, produktów SAAS, wiadomości e-mail i innych elementów. Co więcej, kontrolowane testy dają marketerom i menadżerom możliwość szybkiej i sprawnej iteracji oraz skalowania, prowadząc bezpośrednio do dysponowania danymi i dając informacje na temat sprawdzanych pomysłów. Z badaniach A/B nie musisz się już zastanawiać, dlaczego niektóre ustawienia lub funkcjonalności nie działają, ponieważ dowód masz podany na talerzu. To najlepsza metoda, aby usprawnić współczynnik konwersji, zwiększyć przychody, bazę subskrybentów, a przy tym poprawić wynik pozyskiwania i generowania leadów.

Niektóre z najbardziej innowacyjnych firm, takich jak Google, Amazon, Netflix czy Facebook, rozwijają swoje podejście do biznesu, poprzez zezwolenie na prowadzenie tysięcy testów rocznie. Pozwala to zoptymalizować działania i wykluczyć przy tym te, które nie przynoszą oczekiwanych rezultatów. Sam Jeff Bezos powiedział „Nasz sukces w Amazon jest wynikiem tego, ile eksperymentów przeprowadzamy rocznie, miesięcznie, tygodniowo, czy nawet dziennie.” Z kolei w jednym z blogów technologicznych Netflixa w kwietniu 2016 roku padło takie zdanie „Stosując podejście empiryczne, zapewniamy, że zmiany produktów nie są wynikiem decyzji najbardziej opiniotwórczych osób czy wyższych pracowników Netflix, natomiast są reakcją na rzeczywiste dane naszych użytkowników, którzy pomagają nam ukierunkować kontent w stronę doświadczeń, które oni sami kochają”. Z kolei Mark Zuckenberg wyjaśnił, że jedną z tych rzeczy, z których jest najbardziej dumny, a przy tym jest kluczem do jego sukcesu, są testy: „W dowolnym momencie, o którym pomyślisz, nie działa tylko jedna wersja Facebooka. Jest ich prawdopodobnie około 10 tysięcy”.

Czym jest test A/B?

W klasycznej metodzie A/B to Ty decydujesz, co chciałbyś analizować oraz jaki będzie Twój cel. Następnie tworzysz jeden lub więcej wariantów oryginalnego elementu strony internetowej (lub innej sprawdzanej funkcjonalności) dla danej grupy kontrolnej. Kolejnym krokiem jest podział ruchu na stronie pomiędzy dwie grupy losowo przydzielonych użytkowników według określonego klucza. Końcowym etapem jest zbiór danych na temat skuteczności działań performance’owych na stronie. Ostatnim z nich jest podsumowanie wszystkich danych i wybór tego wariantu, który wypadł najlepiej oraz usunięcie drugiego z nich.

W przypadku, gdy testy nie zostaną przeprowadzone w prawidłowy sposób, mogą nie przynieść wartościowych rezultatów, a nawet wprowadzić Cię w błąd. Ogólnie rzecz ujmując, przeprowadzanie kontrolowanych testów może pomóc Twojej firmie w:

• rozwiązaniu problemów z zakresu UX i poprawie tych obszarów, w których firma nie spełnia potrzeb lub oczekiwań klientów,
• poprawieniu skuteczności ruchu na stronie, w tym: konwersji oraz przychodów przy jednoczesnym obniżeniu kosztów pozyskania leadów,
• zwiększeniu całościowego zaangażowania (poprzez zmniejszenie współczynnika odrzuceń, a także poprawę wskaźnika klikalności itp.).

Musisz jednak pamiętać, aby w momencie wyboru odpowiedniego wariantu uogólniać zebrane wyniki w stosunku do ogólnej liczby potencjalnych użytkowników. To znaczący punkt, który należy wykonać. W przeciwnym wypadku jesteś skazany na podjęcie złej decyzji, która w dłuższej perspektywie wpłynie negatywnie na Twoje działania na stronie. Proces uzyskiwania tych wyników nazywa się testowaniem hipotez, natomiast dane, których szukasz, nazywane są istotnością statystyczną.

Przykłady testów A/B

Tego typu badania pozwalają sprawdzać wiele elementów na stronie, dodatkowych funkcjonalności i poszczególnych etapów lejka sprzedażowego. Dzięki nim możesz sprawdzić między innymi:

• różne sposoby ułożenia menu nawigacyjnego na Twojej stronie (np. klasyczny widok vs. personalizowane preferencje userów)

• optymalizację landing page’y na podstawie personalizacji dostosowanych do zachowań użytkowników, dotychczasowej historii wizyt na stronie, geolokalizacji itp. (jak przypadku firmy zajmującej się ochroną pasażerów linii lotniczych)

Chcesz wiedzieć więcej przeczytaj nasz artykuł – Personalizacja treści na podstawie źródeł ruchu

• komunikacji promocyjnej, a w jej ramach takich elementów, jak banery z zapisem do newslettera (jak np. w butiku sprzedającym naturalne produkty do kąpieli)

Jak powstaje test A/B? Konstruowanie hipotezy

Chcąc rozpocząć testy A/B najpierw musisz zidentyfikować problem, który chcesz rozwiązań lub wykazać zachowania klientów, które chciałbyś wzmocnić albo zmienić. Gdy uda Ci się je rozpoznać, w tym miejscu należy wysnuć hipotezę – czyli Twoje przypuszczenie, które wynik badań może potwierdzić lub wręcz przeciwnie – wykluczyć je lub jemu zaprzeczyć.

Przykładowa hipoteza:

Zastosowanie komunikatu social proof do strony produktowej, która poinformuje usera o popularności produktu, a w konsekwencji zwiększy liczbę dodania danego produktu do koszyka aż o 10%.

W tym przypadku po zauważeniu problemu (niski wskaźnik add-to-cart) i opracowaniu hipotezy (czyli dodaniu informacji social proof w celu zachęcenia do dodania produktu do koszyka), jesteś gotowy, aby przeprowadzić tego rodzaju eksperyment na swojej stronie.

Klasyczne podejście do testów A/B

W prostym teście A/B ruch jest dzielony między dwa warianty treści. Jeden z nich jest określony jako kontrolny i zawiera dotychczasową treść i wygląd. Drugi natomiast funkcjonuje jako nowa wersja kontrolowanego testu, który może się różnić w wielu aspektach. Na przykład, możesz przeanalizować element z innym tekstem nagłówka, przyciskami call-to-action, nowym układem strony lub grafikami itp.

W klasycznym teście na poziomie strony internetowej nie musisz generować dwóch różnych adresów URL. Większość rozwiązań do testów A/B pozwala na dynamiczne tworzenie wariantów za pomocą modyfikacji treści, układu lub projektu strony. Jednak, jeśli masz dwa (lub więcej) zestawy stron, które chcesz między sobą porównać, powinieneś rozważyć powielanie strony z innymi adresami URL.

Kiedy stosować testy ze split URL

Testy ze split URL, czasami określane jako multi-page lub multi-URL, są podobną metodą do standardowych doświadczeń A/B, które pozwalają poprowadzić eksperymenty bazujące na oddzielnych adresach URL w każdej z możliwych wersji. Z tą metodą możesz prowadzić testy między dwoma istniejącymi adresami, które są używane, gdy oferujesz dynamiczne treści. Uruchom testy z oddzielnymi URLami wtedy, gdy posiadasz już dwie istniejące strony i chcesz sprawdzić, która z nich przynosi lepsze rezultaty. Wyobraź sobie, że jesteś w trakcie prowadzenia kampanii i posiadasz dwie różne wersje potencjalnych landing page’y. Wtedy możesz uruchomić rozdzielenie adresów URL, aby sprawdzić, który z nich wykaże lepsze wyniki dla tej konkretnej kampanii.

Test A/B nie jest ograniczony tylko do dwóch wariantów

Jeśli chcesz przeprowadzić eksperyment na więcej, niż dwóch opcjach, możesz zastosować badanie A/B/n. Taki rodzaj pozwala Ci mierzyć wydajność trzech lub więcej wariantów zamiast testowania tylko jednego w stosunku do grupy kontrolnej. Strony o wysokim natężeniu ruchu mogą użyć tej metody do wzrostu wydajności na znacznie większej ilości zmian i zmaksymalizować jego czas, uzyskując przy tym szybsze rezultaty. Jednak pomimo przydatności tej funkcji, zaleca się, aby nie wprowadzać zbyt wielu zmian między stroną kontrolną, a jej innym wariantem. Warto spróbować tylko kilku najważniejszych i widocznych zmian, aby zrozumieć możliwe powody, które wpływają na jego ostateczny wynik. Jeśli pragniesz sprawdzić wiele elementów na stronie, rozważ uwzględnienie w tym celu badania wielowariantowego.

Czym są testy wielowariantowe?

Tego typu badania pozwalają Ci sprawdzać zmiany w większej ilości sekcji na jednej stronie. Możesz między innymi uruchomić test na jednym z Twoich landing page’y i zmienić w nim np. dwa elementy. W pierwszej wersji dodaj formularz kontaktowy zamiast głównego banneru. W drugiej dodaj natomiast format video. System wygeneruje inne możliwe kombinacje, bazujące na Twoich zmianach, które zawierają zarówno video, jak i formularz kontaktowy. W konsekwencji otrzymasz aż 4 wersje:

V1 – Wariant kontrolny (bez formularza kontaktowego i bez elementu wideo)

V2 – Wersja z formularzem kontaktowym

V3 – Wersja z formatem video

V4 – Wersja z formularzem kontaktowym i formatem video

Wielowariantowe testy generują wszystkie możliwe kombinacje Twoich zmian, nie zaleca się tworzyć dużej liczby wariantów, chyba że przeprowadzasz doświadczenie na stronie o dużym natężeniu ruchu. Z drugiej strony, przeprowadzanie testów wielowariantowych na strony o niskim współczynniku ruchu może prowadzić do otrzymania słabych wyników i niewystarczających danych do podjęcia sensownych wniosków. Dlatego na początku podejścia do analizy wielowariantowej, upewnij się, że Twoja witryna posiada co najmniej kilka tysięcy odwiedzających miesięcznie.

Kiedy stosować poszczególne typy testów

Przeprowadzanie testów A/B pomoże Ci odpowiedzieć na kilka pytań, między innymi na:

• która z dwóch wersji strony przynosi więcej reakcji odwiedzających względem drugiej.

Z kolei analizy wielowariantowe pozwolą Ci zyskać odpowiedź na poniższe pytania:

• czy odwiedzający lepiej reagują na treści video wraz z formularzem kontaktowym,
• czy jednak lepszy dla nich jest widok samego formularza kontaktowego,
• czy lepiej działa zastosowanie treści video bez formularza.

Jak mierzyć skuteczność platformy do testów A/B?

Jedną z metod determinujących efektywność platformy do testów A/B jest wykonanie badania A/A. To oznacza, że musisz stworzyć dwa lub więcej identycznych wariantów i przeprowadzić test A/B, aby sprawdzić, jak platforma obsługuje obydwa warianty. Udane wyniki powinny pokazać, że obydwie wariacje dają zbliżone rezultaty.

Droga do sukcesu w testach A/B

Benjamin Franklin powiedział kiedyś „Nie oblałem testu, po prostu znalazłem 100 sposobów na to, aby wykonać go źle.”

Podczas przeprowadzania testu A/B stosowanie poprawnej metodologii jest kluczowe, aby móc otrzymać wartościowe wyniki nawet długo po jego zakończeniu. Innymi słowy, postaraj się zrozumieć, czy sprawdzane przez Ciebie zmiany bezpośrednio wpływają na zachowania użytkowników, czy jednak dzieją się przypadkowo. Badania A/B zapewniają ramy, które pozwalają Ci mierzyć różnice w reakcjach między użytkownikami różnych wariantów i, jeśli zostaną zauważone, ustalą statyczną zależność, a do pewnego stopnia również przyczyny takich działań.