Testovanie A/B je nevyhnutnou súčasťou stratégie spoločnosti Scopely's LiveOps, ktorá umožňuje rozhodnutia založené na údajoch a neustále zlepšovanie skúseností hráča [2] [7]. LiveOps je náročný na údaje, takže testovanie je dôležité, aby sa predišlo chybám v hre [1].
Čo je testovanie A/B?
Testovanie A/B, známe tiež ako rozdelenie testovania, je metóda porovnania dvoch verzií webovej stránky alebo aplikácie na určenie, ktorá z nich vykonáva lepšie vykonávanie [2] [6]. V testoch A/B sa rôznym používateľom náhodne podávajú mierne odlišné verzie produktu (hra) a merania sa vykonávajú, aby sa zistilo, ktorá možnosť funguje lepšie [1] [2]. Výherná možnosť sa potom zavedie širšiemu publiku [1]. Testovanie A/B pomáha robiť starostlivé zmeny skúseností používateľov pri zhromažďovaní údajov o vplyve týchto zmien [2]. Pomáha vytvárať hypotézy a dozvedieť sa, aké prvky a optimalizácie skúseností ovplyvňujú správanie používateľov najviac [2].
Testovací plán A/B:
Pred vykonaním testu A/B je dôležité vytvorenie plánu. Kroky v pláne zahŕňajú [1]:
1. Experimentálne nápady
2. Generovanie možností (čo sa presne zmení pre rôzne skupiny)
3. Metrická voľba
4. Príprava vzorky
5. Predbežné testovanie
6. Experiment
7. Interpretácia výsledkov
Príklady nápadov na testovanie A/B:
* Návrh testovania rôznych vzorov, ako napríklad jedno tlačidlo verzus dve tlačidlá, a text na každom z nich [1].
* Volajte na testovanie akcie Testovanie rôznych hovorov na akciu [1].
* Ceny a propagačné ceny a propagačné akcie [1].
* Testovanie reklamy Rôzne reklamy [1].
* Upozornenia na tlaky a testovanie načasovania push upozornenia a ich načasovanie [1].
Zhoršujúce sa testy:
Namiesto klasických testov A/B môžu byť „zhoršujúce sa testy“ nákladovo efektívnejšie pre udalosti Liveops [1]. V zhoršujúcom sa teste dostane jedna skupina používateľov úmyselne nižšiu možnosť [1]. Napríklad, ak chcete do hry pridať viac úrovní, ale nie ste si istí výsledkami, pre jednu skupinu nových hráčov môžete znížiť počet úrovní a pre druhú skupinu zanechať všetky úrovne [1]. Ak hráči, ktorí dokončili všetky úrovne, vykazujú lepšie výsledky, je potrebné pridať viac úrovní [1].
Generovanie možností:
Testy A/B môžu mať viac ako dve možnosti, pretože existuje aj viacrozmerné testovanie [1]. Napríklad môžete vykonať cenovú skúšku a textový test súčasne (multivariačné testovanie) [1].
Príprava vzorky:
Najdôležitejšou vecou pri vykonávaní testu A/B je použitie skupiny ľudí, ktorí sa nikdy nestretli s zmenou funkčnosťou [1]. Testy sa preto často spúšťajú v návode alebo vo formulári sťahovania, tj na tých ľuďoch, ktorí najprv inštalujú hru/aplikáciu [1]. Zber musí byť tiež náhodný; Je zásadne nesprávne posielať používateľov, ktorí prišli v stredu do jednej skupiny, a používateľov, ktorí prišli vo štvrtok do inej [1]. Správnym spôsobom je skombinovať obidve v jednom segmente a náhodne ich rozdeliť do dvoch skupín [1].
Bežné chyby v testovaní A/B:
* Nesprávna hypotéza a testovanie zmien, ktoré je ťažké sledovať [1].
* Priaznivá interpretácia experimentálnych výsledkov [1].
* Spoliehajúc sa na intuíciu [1].
* Nepovažujú publikum (nové/nie nové, zdroje dopravy, platenie/neplatenie) [1].
* Príliš málo používateľov [1].
* Spustenie niekoľkých testov súčasne [1].
* Nedostatok predchádzajúceho testovania [1].
* Nesprávny výber metrík [1].
* Nesprávna veľkosť vzorky (príliš malá alebo príliš veľká) [1].
Integrácia analýzy aplikácií:
Integrácia analýzy aplikácií do LiveOps vám umožňuje zhromažďovať cenné údaje o správaní používateľov, preferenciách a záujmoch [4]. Testovanie A/B je výkonný spôsob, ako otestovať dve verzie funkcie a zhromaždiť spätnú väzbu od používateľov [4]. Ak chcete integrovať analytiku, potrebujete efektívne postupy zberu údajov [4]. Vyberte platformu Analytics, ktorá je užívateľsky prívetivá a má robustné schopnosti pre segmentáciu používateľov, vizualizáciu údajov a dodržiavanie ochrany osobných údajov [4].
Citácie:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-trategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1