Testowanie A/B jest niezbędnym elementem strategii Scopely LiveOps, umożliwiającą decyzje oparte na danych i ciągłe doskonalenie doświadczenia gracza [2] [7]. Liveops jest wymagający danych, więc testowanie jest ważne, aby uniknąć błędów w grze [1].
Co to jest testowanie A/B?
Testowanie A/B, znane również jako testowanie podzielone, jest metodą porównywania dwóch wersji strony internetowej lub aplikacji w celu ustalenia, która z nich osiągnie lepiej [2] [6]. W testach A/B różni użytkownicy otrzymują losowo nieco inne wersje produktu (gra), a pomiary są podejmowane, aby zobaczyć, która opcja osiągnie lepiej [1] [2]. Zwycięska opcja jest następnie wprowadzana do szerszej publiczności [1]. Testowanie A/B pomaga wprowadzić uważne zmiany w doświadczeniach użytkowników podczas gromadzenia danych na temat wpływu tych zmian [2]. Pomaga budować hipotezy i dowiedzieć się, jakie elementy i optymalizacje doświadczeń najbardziej wpływają na zachowanie użytkowników [2].
Plan testowania A/B:
Przed wdrożeniem testu A/B ważne jest tworzenie planu. Kroki w planie obejmują [1]:
1. Pomysły eksperymentu
2. Generowanie opcji (co dokładnie zmieni się dla różnych grup)
3. Wybór metryki
4. Przygotowanie próbki
5. Testy wstępne
6. Eksperyment
7. Interpretacja wyników
Przykłady pomysłów testowych A/B:
* Projektowanie testowania różnych projektów, takich jak jeden przycisk w porównaniu z dwoma przyciskami, i tekst na każdym z nich [1].
* Wezwaj się do działania testowania różnych połączeń do działania [1].
* Ceny i promocje testujące ceny i promocje [1].
* Testowanie reklamowe różne reklamy [1].
* Powiadomienia push i testowanie czasowe powiadomienia push i ich czas [1].
Testy pogarszające się:
Zamiast klasycznych testów A/B „pogarszające się testy” mogą być bardziej opłacalne dla zdarzeń na żywo [1]. W teście pogarszającym się jedna grupa użytkowników celowo otrzymuje gorszą opcję [1]. Na przykład, jeśli chcesz dodać więcej poziomów do gry, ale nie jesteś pewien wyników, dla jednej grupy nowych graczy możesz zmniejszyć liczbę poziomów, a dla drugiej grupy pozostawić wszystkie poziomy [1]. Jeśli gracze, którzy ukończyli wszystkie poziomy, wykazują lepsze wyniki, potrzebne jest dodanie większej liczby poziomów [1].
Generowanie opcji:
Testy A/B mogą mieć więcej niż dwie opcje, ponieważ występują również testy wielowymiarowe [1]. Na przykład możesz jednocześnie uruchomić test cenowy i test tekstowy (testowanie wielowymiarowe) [1].
Przygotowanie próbki:
Najważniejszą rzeczą podczas prowadzenia testu A/B jest użycie grupy osób, które nigdy nie napotkały zmienionej funkcjonalności [1]. Dlatego testy są często uruchamiane w samouczku lub w formularzu pobierania, to znaczy na tych osobach, które najpierw instalują grę/aplikację [1]. Również zbieranie musi być losowe; Wysyłanie użytkowników, którzy przybyli w środę do jednej grupy i użytkowników, którzy przybyli w czwartek do innej [1], jest zasadniczo złe. Właściwy sposób jest połączenie obu w jednym segmencie i losowe rozpowszechnianie ich na dwie grupy [1].
Powszechne błędy w testowaniu A/B:
* Niewłaściwa hipoteza i testowanie zmian, które są trudne do śledzenia [1].
* Korzystna interpretacja wyników eksperymentalnych [1].
* Poleganie na intuicji [1].
* Nie biorąc pod uwagę odbiorców (nowe/nie nowe źródła ruchu, płacenie/nie płacąc) [1].
* Za mało użytkowników [1].
* Uruchamianie kilku testów jednocześnie [1].
* Brak wcześniejszych testów [1].
* Niewłaściwy wybór wskaźników [1].
* Niewłaściwy rozmiar próbki (za mały lub zbyt duży) [1].
Integracja analizy aplikacji:
Integracja analizy aplikacji z LiveOps pozwala gromadzić cenne dane o zachowaniu, preferencjach i zainteresowaniach użytkowników [4]. Testowanie A/B to potężny sposób przetestowania dwóch wersji funkcji i zebrania informacji zwrotnych użytkowników [4]. Aby zintegrować analizy, potrzebujesz skutecznych praktyk gromadzenia danych [4]. Wybierz platformę analityczną, która jest przyjazna dla użytkownika i ma solidne możliwości segmentacji użytkowników, wizualizacji danych i zgodności z prywatnością [4].
Cytaty:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measturem-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ps
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1