Az A/B tesztelés a Scopely LiveOps stratégiájának alapvető eleme, amely lehetővé teszi az adatközpontú döntéseket és a játékosok tapasztalatainak folyamatos javulását [2] [7]. A LiveOps adatigényes, tehát a tesztelés fontos a játék hibáinak elkerülése érdekében [1].
Mi az A/B tesztelés?
Az A/B tesztelés, más néven split tesztelés, egy olyan módszer, amellyel összehasonlíthatjuk a weboldal vagy az alkalmazás két verzióját, hogy meghatározzák, melyiket teljesíti jobban [2] [6]. Az A/B tesztekben a különböző felhasználók véletlenszerűen adnak egy termék (játék) kissé eltérő verzióit, és méréseket végeznek, hogy megnézhessék, melyik opció jobban teljesít [1] [2]. A nyertes lehetőséget ezután szélesebb közönségnek vezetik be [1]. Az A/B tesztelés elősegíti a felhasználói tapasztalatok gondos változtatását, miközben adatokat gyűjt a változások hatásáról [2]. Segít a hipotézisek felépítésében és a tapasztalatok elemeinek és optimalizálásának megtanulásában, amelyek a felhasználói viselkedést leginkább befolyásolják [2].
Az A/B tesztelési terv:
Az A/B teszt végrehajtása előtt fontos a terv kidolgozása. A terv lépései között szerepel a [1]:
1. Kísérleti ötletek
2.
3. metrikus választás
4. Minta előkészítése
5. Előzetes tesztelés
6. Kísérlet
7. Az eredmények értelmezése
Példák az A/B tesztelési ötletekre:
* A különféle minták, például egy gomb és a két gomb és a szöveg mindegyikének tervezése [1].
* Felhívás a cselekvésre tesztelésre, különböző cselekvési felhívások [1].
* Az árak és a promóciók tesztelése az árak és promóciók [1].
* A különféle hirdetések hirdetési tesztelése [1].
* Nyomja meg az értesítéseket és az időzítés tesztelését a push értesítések és azok időzítése [1].
A romló tesztek:
A klasszikus A/B tesztek helyett a "romló tesztek" költséghatékonyabbak lehetnek a LiveOps eseményeknél [1]. Egy romló teszt során az egyik felhasználócsoport szándékosan alacsonyabb szintű opciót kap [1]. Például, ha további szinteket szeretne hozzáadni egy játékhoz, de nem biztos az eredményekről, az új szereplők egy csoportja esetében csökkentheti a szintek számát, és a második csoport számára az összes szintet hagyhatja [1]. Ha az összes szintet befejező játékosok jobb eredményeket mutatnak, akkor további szintek hozzáadására van szükség [1].
Opció generáció:
Az A/B teszteknek több mint két lehetősége lehet, mivel többváltozós tesztelés is van [1]. Például futtathat egy árat és egy szöveges tesztet egyidejűleg (többváltozós tesztelés) [1].
Minta előkészítése:
A legfontosabb dolog egy A/B teszt futtatásakor egy olyan csoport használata, amely még soha nem találkozott a megváltozott funkcionalitással [1]. Ezért a teszteket gyakran egy oktatóanyagon vagy a letöltési űrlapon futtatják, azaz azokon az embereknél, akik először telepítik a játékot/alkalmazást [1]. Ezenkívül a szedésnek véletlenszerűnek kell lennie; Alapvetően rossz, ha szerdán jöttek az egyik csoportba, és a csütörtökön a másikba érkeztek a felhasználók [1]. A helyes módszer az, ha mindkettőt egy szegmensben kombináljuk, és véletlenszerűen osztják el azokat két csoportba [1].
Általános hibák az A/B tesztelésben:
* Rossz hipotézis és a változások tesztelése, amelyeket nehéz nyomon követni [1].
* A kísérleti eredmények kedvező értelmezése [1].
* Az intuícióra támaszkodva [1].
* Nem veszi figyelembe a közönséget (új/nem új, forgalmi források, fizetés/fizetés) [1].
* Túl kevés felhasználó [1].
* Több teszt futtatása egyszerre [1].
* A korábbi tesztelés hiánya [1].
* A mutatók helytelen megválasztása [1].
* Rossz minta mérete (túl kicsi vagy túl nagy) [1].
Az alkalmazás elemzésének integrálása:
Az alkalmazás -elemzés integrálása a LiveOps -ba lehetővé teszi, hogy értékes adatokat gyűjtsön a felhasználók viselkedéséről, preferenciáiról és érdekeinek [4]. Az A/B tesztelés egy hatékony módszer egy szolgáltatás két verziójának tesztelésére és a felhasználói visszajelzések gyűjtésére [4]. Az elemzés integrálásához hatékony adatgyűjtési gyakorlatokra van szüksége [4]. Válasszon egy elemzési platformot, amely felhasználóbarát és robusztus képességeivel rendelkezik a felhasználói szegmentáláshoz, az adatok megjelenítéséhez és az adatvédelemhez való megfeleléshez [4].
Idézetek:
[1] https://www.devtodev.com/resources/articles/a-pesting-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/Measuration-analytics/liveops-Changing-gaming-Landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-stests-for-analysing-liveops-Part-1