A/B testiranje je bistvena sestavina strategije Scopelyjeve LiveOPS, ki omogoča odločitve, ki temeljijo na podatkih, in nenehno izboljševanje izkušenj igralca [2] [7]. LiveOPS je intenziven s podatki, zato je testiranje pomembno, da se izognete napakam v igri [1].
Kaj je A/B testiranje?
A/B testiranje, znano tudi kot razcepljeno testiranje, je metoda primerjave dveh različic spletne strani ali aplikacije, da se ugotovi, katera deluje bolje [2] [6]. V A/B testih se različni uporabniki naključno dobijo nekoliko drugačne različice izdelka (igra), meritve pa se sprejmejo, da vidijo, katera možnost deluje bolje [1] [2]. Možnost zmage se nato uvede širšemu občinstvu [1]. A/B testiranje pomaga natančno spremeniti uporabniške izkušnje, medtem ko zbira podatke o vplivu teh sprememb [2]. Pomaga konstruirati hipoteze in se naučiti, kateri elementi in optimizacije izkušenj najbolj vplivajo na vedenje uporabnikov [2].
Načrt testiranja A/B:
Pred izvedbo testa A/B je pomembno ustvarjanje načrta. Koraki v načrtu vključujejo [1]:
1. eksperimentalne ideje
2. Generacija opcij (kaj natančno se bo spremenilo za različne skupine)
3. Metrična izbira
4. Priprava vzorca
5. Predhodno testiranje
6. Eksperiment
7. Razlaga rezultatov
Primeri idej za testiranje A/B:
* Oblikovanje testira različne modele, na primer en gumb v primerjavi z dvema gumboma in besedilo na vsakem od njih [1].
* Pokličite k dejanju, ki preizkuša različne klice v dejanje [1].
* Cene in promocije testiranja cen in promocij [1].
* Testiranje oglaševanja Različni oglasi [1].
* Potisnite obvestila in časovni testiranje potisnih obvestil in njihov čas [1].
Propadajoči testi:
Namesto klasičnih testov A/B so "poslabšani testi" lahko bolj stroškovno učinkoviti za dogodke v živo [1]. V propadajočem testu ena skupina uporabnikov namerno dobi slabšo možnost [1]. Če želite na primer v igro dodati več stopenj, vendar niste prepričani o rezultatih, za eno skupino novih igralcev lahko zmanjšate število stopenj in za drugo skupino zapustite vse ravni [1]. Če igralci, ki so končali vse ravni, kažejo boljše rezultate, potem je potrebno dodajanje več ravni [1].
Generacija opcije:
A/B testi imajo lahko več kot dve možnosti, ker obstaja tudi multivariatno testiranje [1]. Na primer, lahko hkrati zaženete cenovni test in besedilni test (multivariatno testiranje) [1].
Priprava vzorca:
Najpomembnejša stvar pri izvajanju testa A/B je uporaba skupine ljudi, ki nikoli ni naletela na spremenjene funkcionalnosti [1]. Zato se testi pogosto izvajajo na vadnici ali na obrazcu za prenos, torej na tiste ljudi, ki najprej namestijo igro/aplikacijo [1]. Tudi nabiranje mora biti naključno; V bistvu je napačno poslati uporabnike, ki so v sredo prišli v eno skupino, in uporabnike, ki so v četrtek prišli v drugo [1]. Pravi način je, da oba združite v enem segmentu in jih naključno razdelite v dve skupini [1].
Pogoste napake pri A/B testiranju:
* Napačna hipoteza in testiranje sprememb, ki jih je težko slediti [1].
* Ugodna razlaga eksperimentalnih rezultatov [1].
* Zanaša se na intuicijo [1].
* Če ne upoštevamo občinstva (novih/ne novih, prometnih virov, plačuje/ne plačuje) [1].
* Premalo uporabnikov [1].
* Hkrati izvajajte več testov [1].
* Pomanjkanje predhodnega testiranja [1].
* Napačna izbira meritev [1].
* Napačna velikost vzorca (premajhna ali prevelika) [1].
Integracija analitike aplikacij:
Vključevanje analitike aplikacij v LiveOPS vam omogoča zbiranje dragocenih podatkov o vedenju, željah in interesih uporabnikov [4]. A/B testiranje je močan način za preizkušanje dveh različic funkcije in zbiranje povratnih informacij uporabnikov [4]. Za integracijo analitike potrebujete učinkovite prakse zbiranja podatkov [4]. Izberite analitično platformo, ki je uporabniku prijazna in ima zanesljive zmogljivosti za segmentacijo uporabnikov, vizualizacijo podatkov in skladnost z zasebnostjo [4].
Navedbe:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimizacija-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-trategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-Tips-for-effective-live-ops
[8] https://www.gameveloper.com/business/a-b-tests-for-analysing-liveops--1