A/B pārbaude ir būtiska Scopely LiveOPS stratēģijas sastāvdaļa, kas ļauj pieņemt uz datiem balstītus lēmumus un nepārtraukti uzlabot spēlētāja pieredzi [2] [7]. LiveOPS ir intensīva, tāpēc pārbaude ir svarīga, lai izvairītos no kļūdām spēlē [1].
Kas ir A/B pārbaude?
A/B pārbaude, kas pazīstama arī kā sadalīta pārbaude, ir metode, kā salīdzināt divu tīmekļa lapas vai lietotnes versijas, lai noteiktu, kurš no tiem darbojas labāk [2] [6]. A/B testos dažādiem lietotājiem nejauši tiek dotas nedaudz atšķirīgas produkta (spēles) versijas, un mērījumi tiek veikti, lai redzētu, kura opcija darbojas labāk [1] [2]. Pēc tam uzvarēšanas iespēja tiek ieviesta plašākai auditorijai [1]. A/B pārbaude palīdz veikt rūpīgas izmaiņas lietotāju pieredzē, vienlaikus apkopojot datus par šo izmaiņu ietekmi [2]. Tas palīdz konstruēt hipotēzes un uzzināt, kādi elementi un pieredzes optimizācija visvairāk ietekmē lietotāju uzvedību [2].
A/B testēšanas plāns:
Pirms A/B testa ieviešanas ir svarīgi izveidot plānu. Plānā ietilpst [1]:
1. Eksperimenta idejas
2. opciju ģenerēšana (kas tieši mainīsies dažādām grupām)
3. Metriskā izvēle
4. Parauga sagatavošana
5. Sākotnējā pārbaude
6. Eksperiments
7. Rezultātu interpretācija
A/B testēšanas ideju piemēri:
* Projektēšanas pārbaudi dažādi dizainparaugi, piemēram, viena poga pret divām pogām, un teksts uz katra no tiem [1].
* Aicinājums uz darbību pārbaudot dažādus aicinājumus uz darbību [1].
* Cenas un veicināšanas cenas un akcijas pārbaude [1].
* Reklāmas pārbaude Dažādu sludinājumu pārbaude [1].
* Push paziņojumi un laika pārbaude Push paziņojumi un to grafiks [1].
Testu pasliktināšanās:
Klasisko A/B testu vietā "testu pasliktināšanās" var būt rentablāks LiveOPS notikumiem [1]. Sašustošā testā viena lietotāju grupa apzināti iegūst zemāku iespēju [1]. Piemēram, ja vēlaties pievienot spēlei vairāk līmeņu, bet neesat pārliecināts par rezultātiem, vienai jauno spēlētāju grupai jūs varat samazināt līmeņu skaitu, un otrajai grupai jāatstāj visi līmeņi [1]. Ja spēlētāji, kuri pabeidza visus līmeņus, parāda labākus rezultātus, ir nepieciešams pievienot vairāk līmeņu [1].
Opciju ģenerēšana:
A/B testos var būt vairāk nekā divas iespējas, jo ir arī daudzdimensiju pārbaude [1]. Piemēram, jūs varat veikt cenu testu un teksta testu vienlaicīgi (daudzfaktoru pārbaude) [1].
Parauga sagatavošana:
Vissvarīgākais, izpildot A/B testu, ir izmantot cilvēku grupu, kas nekad nav saskārusies ar mainīto funkcionalitāti [1]. Tāpēc testi bieži tiek veikti apmācībā vai lejupielādes veidlapā, tas ir, tiem cilvēkiem, kuri pirmo reizi instalē spēli/lietojumprogrammu [1]. Arī savākšanai jābūt nejaušai; Pamatā ir nepareizi nosūtīt lietotājus, kuri trešdien ieradās vienā grupā, un lietotāji, kuri ceturtdien ieradās citā [1]. Pareizais veids ir apvienot tos abus vienā segmentā un nejauši sadalīt tos divās grupās [1].
Parastās kļūdas A/B testēšanā:
* Nepareiza hipotēze un izmaiņu pārbaude, kuru ir grūti izsekot [1].
* Labvēlīga eksperimentālo rezultātu interpretācija [1].
* Paļaujoties uz intuīciju [1].
* Neapsveriet auditoriju (jauni/ne jauni, satiksmes avoti, maksāšana/nemaksāšana) [1].
* Pārāk maz lietotāju [1].
* Vairāku testu veikšana vienlaikus [1].
* Iepriekšējas pārbaudes trūkums [1].
* Nepareiza metrikas izvēle [1].
* Nepareizs parauga lielums (pārāk mazs vai pārāk liels) [1].
Lietotņu analītikas integrēšana:
Lietotņu analītikas integrēšana LiveOPS ļauj apkopot vērtīgus datus par lietotāju uzvedību, vēlmēm un interesēm [4]. A/B pārbaude ir spēcīgs veids, kā pārbaudīt divas funkcijas versijas un apkopot lietotāju atsauksmes [4]. Lai integrētu analītiku, jums ir nepieciešama efektīva datu vākšanas prakse [4]. Izvēlieties analītikas platformu, kas ir lietotājam draudzīga, un tai ir spēcīgas iespējas lietotāja segmentēšanai, datu vizualizācijai un privātuma ievērošanai [4].
Atsauces:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting--live-ops-strategy/
.
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-efective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-tart-1