Testování A/B je nezbytnou součástí strategie SCOPELY LIVEOPS, což umožňuje rozhodnutí založená na údajích a neustálé zlepšování zkušeností hráče [2] [7]. LiveOps je náročný na datovou, takže testování je důležité, aby se zabránilo chybám ve hře [1].
Co je to testování A/B?
Testování A/B, známé také jako rozdělené testování, je metoda porovnávání dvou verzí webové stránky nebo aplikace, aby se určilo, která z nich funguje lépe [2] [6]. V testech A/B jsou různé uživatelé náhodně podávány mírně odlišné verze produktu (hry) a měření jsou prováděna, aby zjistila, která možnost funguje lépe [1] [2]. Výherní možnost je poté zavedena na širší publikum [1]. Testování A/B pomáhá pečlivé změny uživatelských zkušeností při shromažďování údajů o dopadu těchto změn [2]. Pomáhá konstruovat hypotézy a zjistit, jaké prvky a optimalizace zkušeností ovlivňují chování uživatelů nejvíce [2].
Testovací plán A/B:
Před implementací testu A/B je důležité vytvoření plánu. Mezi kroky v plánu patří [1]:
1. Experimentální nápady
2. generování možností (co přesně se změní pro různé skupiny)
3. metrická volba
4. Příprava vzorku
5. Předběžné testování
6. Experiment
7. Interpretace výsledků
Příklady nápady na testování A/B:
* Návrh testování různých návrhů, jako je jedno tlačítko versus dvě tlačítka, a text na každé z nich [1].
* Testování volání k akci různé výzvy k akci [1].
* Ceny a propagační testování cen a propagačních akcí [1].
* Testování reklamy na různé reklamy [1].
* Oznámení o tlaku a načasování oznámení o tlaku a jejich načasování [1].
Zhoršující se testy:
Namísto klasických testů A/B mohou být „zhoršující se testy“ pro události LiveOps nákladově efektivnější [1]. V zhoršujícím se testu dostane jedna skupina uživatelů úmyslně nižší možnost [1]. Pokud například chcete přidat více úrovní do hry, ale nejste jisti výsledky, pro jednu skupinu nových hráčů můžete snížit počet úrovní a pro druhou skupinu ponechat všechny úrovně [1]. Pokud hráči, kteří dokončili všechny úrovně, vykazují lepší výsledky, je zapotřebí přidání více úrovní [1].
Generování možností:
Testy A/B mohou mít více než dvě možnosti, protože dochází také k multivariačním testování [1]. Můžete například provést cenový test a textový test současně (multivariační testování) [1].
Příprava vzorku:
Nejdůležitější věcí při provádění testu A/B je použití skupiny lidí, kteří se nikdy nesetkali s změnou funkcí [1]. Proto jsou testy často prováděny na tutoriálu nebo na formuláři ke stažení, tj. Na těch lidech, kteří nejprve nainstalují hru/aplikaci [1]. Také výběr musí být náhodné; Je v zásadě špatné posílat uživatele, kteří přišli ve středu do jedné skupiny a uživatelů, kteří přišli ve čtvrtek do jiné [1]. Správným způsobem je kombinovat oba z nich v jednom segmentu a náhodně je rozdělit do dvou skupin [1].
Běžné chyby při testování A/B:
* Nesprávná hypotéza a testování změn, které je obtížné sledovat [1].
* Příznivá interpretace experimentálních výsledků [1].
* Spoléhání se na intuici [1].
* Nezohlednit publikum (nové/ne nové, zdroje provozu, placení/neplacení) [1].
* Příliš málo uživatelů [1].
* Spuštění několika testů současně [1].
* Nedostatek předchozího testování [1].
* Špatný výběr metrik [1].
* Špatná velikost vzorku (příliš malá nebo příliš velká) [1].
Integrace analytiky aplikací:
Integrace analytiky aplikací do LiveOps vám umožňuje shromažďovat cenná data o chování, preferencích a zájmech uživatelů [4]. Testování A/B je výkonný způsob, jak otestovat dvě verze funkce a shromažďovat zpětnou vazbu uživatelů [4]. K integraci analytiky potřebujete efektivní postupy sběru dat [4]. Vyberte analytickou platformu, která má uživatelsky přívětivou a má robustní schopnosti pro segmentaci uživatelů, vizualizaci dat a soulad s ochranou osobních údajů [4].
Citace:
[1] https://www.devtodev.com/resources/articles/a-btesting-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-rategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-canging-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1