A/B testavimas yra esminis „Scopely“ „Liveops“ strategijos komponentas, leidžiantis priimti sprendimus dėl duomenų ir nuolat tobulinti žaidėjo patirtį [2] [7]. „LiveOps“ reikalauja daug duomenų, todėl norint išvengti klaidų žaidime, svarbu testavimas [1].
Kas yra A/B testavimas?
A/B testavimas, dar žinomas kaip padalijimo testavimas, yra būdas palyginti dvi tinklalapio ar programos versijas, siekiant nustatyti, kuri iš jų veikia geriau [2] [6]. Atliekant A/B testus, skirtingiems vartotojams atsitiktinai pateikiamos šiek tiek skirtingos produkto versijos (žaidimas), ir atliekami matavimai, siekiant išsiaiškinti, kuri parinktis veikia geriau [1] [2]. Tada laimėjimo parinktis išleidžiama platesnei auditorijai [1]. A/B testavimas padeda kruopščiai pakeisti vartotojo patirtį, renkant duomenis apie tų pakeitimų poveikį [2]. Tai padeda sukonstruoti hipotezes ir sužinoti, kokie elementai ir patirties optimizavimas labiausiai daro įtaką vartotojo elgesiui [2].
A/B testavimo planas:
Prieš įgyvendinant A/B testą, svarbu sukurti planą. Plane yra [1]:
1. Eksperimento idėjos
2. Pasirinkimo generavimas (kas tiksliai pasikeis skirtingoms grupėms)
3. Metrikos pasirinkimas
4. Mėginio paruošimas
5. Preliminarus bandymas
6. Eksperimentas
7. Rezultatų aiškinimas
A/B bandymo idėjų pavyzdžiai:
* Skirtingų dizainų testavimas, pavyzdžiui, vienas mygtukas, palyginti su dviem mygtukais, ir kiekvieno iš jų tekstas [1].
* Kreipkitės į veiksmus, išbandydami skirtingus raginimus veikti [1].
* Kainos ir akcijos tikrinamos kainos ir akcijos [1].
* Reklamos testavimas skirtingas reklamas [1].
* Plaukimo pranešimai ir laiko bandymas Plaukimo pranešimai ir jų laikas [1].
blogėjantys testai:
Vietoj klasikinių A/B testų „blogėjantys testai“ gali būti ekonomiškesni „LiveOps“ įvykiams [1]. Atliekant pablogėjusį testą, viena vartotojų grupė sąmoningai gauna prastesnį variantą [1]. Pvz., Jei norite pridėti daugiau lygių į žaidimą, tačiau nesate tikri dėl rezultatų, vienai naujų žaidėjų grupei galite sumažinti lygių skaičių, o antrajai grupei - palikti visus lygius [1]. Jei žaidėjai, baigę visus lygius, rodo geresnius rezultatus, tada reikia pridėti daugiau lygių [1].
Pasirinkimo generavimas:
A/B testai gali turėti daugiau nei dvi galimybes, nes taip pat yra daugiamatių testų [1]. Pvz., Galite atlikti kainos testą ir teksto testą vienu metu (daugiamatė testavimas) [1].
Mėginio paruošimas:
Svarbiausias dalykas atliekant A/B testą yra naudoti grupę žmonių, kurie niekada nebuvo susidūrę su pasikeitusiomis funkcijomis [1]. Todėl testai dažnai vykdomi vadove arba atsisiuntimo formoje, tai yra tiems žmonėms, kurie pirmiausia diegia žaidimą/programą [1]. Taip pat rinkimas turi būti atsitiktinis; Iš esmės neteisinga siųsti vartotojus, kurie trečiadienį atvyko į vieną grupę ir vartotojus, kurie ketvirtadienį atvyko į kitą [1]. Tinkamas būdas yra sujungti abu juos viename segmente ir atsitiktinai paskirstyti juos į dvi grupes [1].
Įprastos klaidos atliekant A/B testavimą:
* Neteisinga hipotezė ir pokyčių, kuriuos sunku sekti, tikrinimą [1].
* Palankus eksperimentinių rezultatų aiškinimas [1].
* Pasikliauti intuicija [1].
* Negalvojate apie auditoriją (nauji/ne nauji, eismo šaltiniai, mokantys/nemokantys) [1].
* Per mažai vartotojų [1].
* Tuo pačiu metu atliekant kelis bandymus [1].
* Ankstesnių bandymų trūkumas [1].
* Neteisingas metrikos pasirinkimas [1].
* Neteisingas imties dydis (per mažas ar per didelis) [1].
APP Analytics integracija:
Programos analizės integravimas į „LiveOps“ leidžia rinkti vertingus duomenis apie vartotojų elgesį, nuostatas ir pomėgius [4]. A/B testavimas yra galingas būdas išbandyti dvi funkcijos versijas ir rinkti vartotojo atsiliepimus [4]. Norėdami integruoti analizę, jums reikia veiksmingos duomenų rinkimo praktikos [4]. Pasirinkite „Analytics“ platformą, kuri patogi vartotojui ir turėtų patikimas vartotojų segmentavimo, duomenų vizualizacijos ir privatumo laikymosi galimybes [4].
Citatos:
[1] https://www.devtodev.com/resources/articles/a-b-testting-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-straty/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-typs-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1