A/B-testing er en essensiell komponent i Scopelys liveops-strategi, noe som gir mulighet for datadrevne beslutninger og kontinuerlig forbedring av spilleropplevelsen [2] [7]. Liveops er datakrevende, så testing er viktig for å unngå feil i et spill [1].
Hva er A/B -testing?
A/B -testing, også kjent som Split Testing, er en metode for å sammenligne to versjoner av en webside eller app for å bestemme hvilken som utfører bedre [2] [6]. I A/B -tester blir forskjellige brukere tilfeldig gitt litt forskjellige versjoner av et produkt (spill), og det tas målinger for å se hvilket alternativ som utfører bedre [1] [2]. Vinneralternativet blir deretter rullet ut til et bredere publikum [1]. A/B -testing hjelper til med å gjøre nøye endringer i brukeropplevelser mens du samler inn data om virkningen av disse endringene [2]. Det hjelper til å konstruere hypoteser og lære hvilke elementer og optimaliseringer av opplevelser påvirker brukeratferden mest [2].
A/B -testplanen:
Før du implementerer en A/B -test, er det viktig å lage en plan. Trinn i planen inkluderer [1]:
1. Eksperimentideer
2. Alternativsgenerering (hva som egentlig vil endre for forskjellige grupper)
3. Metrisk valg
4. Eksempelforberedelse
5. Foreløpig testing
6. Eksperiment
7. Tolkning av resultatene
Eksempler på A/B -tester ideer:
* Design testing av forskjellige design, for eksempel en knapp kontra to knapper, og teksten på hver av dem [1].
* Ring til handlingstesting av forskjellige samtaler til handling [1].
* Priser og kampanjer Testpriser og kampanjer [1].
* Annonseringstesting av forskjellige annonser [1].
* Push -varsler og timingstesting pushvarsler og timing [1].
Forringende tester:
I stedet for klassiske A/B-tester, kan "forverrede tester" være mer kostnadseffektive for liveops-arrangementer [1]. I en forverret test får en gruppe brukere bevisst et underordnet alternativ [1]. Hvis du for eksempel vil legge til flere nivåer til et spill, men er usikre på resultatene, for en gruppe nye spillere, kan du redusere antall nivåer, og for den andre gruppen, la alle nivåene [1]. Hvis spillerne som avsluttet alle nivåene viser bedre resultater, er det nødvendig med flere nivåer [1].
Alternativ generering:
A/B -tester kan ha mer enn to alternativer fordi det også er multivariat testing [1]. For eksempel kan du kjøre en prisprøve og en teksttest samtidig (multivariat testing) [1].
Eksempelforberedelse:
Det viktigste når du kjører en A/B -test er å bruke en gruppe mennesker som aldri har møtt den endrede funksjonaliteten [1]. Derfor kjøres tester ofte på en tutorial eller på nedlastingsskjemaet, det vil si på de menneskene som først installerer spillet/applikasjonen [1]. Også plukking må være tilfeldig; Det er grunnleggende galt å sende brukere som kom på onsdag til en gruppe og brukere som kom på torsdag til en annen [1]. Den rette måten er å kombinere dem begge i ett segment og distribuere dem tilfeldig til to grupper [1].
Vanlige feil i A/B -testing:
* Feil hypotese og testing av endringer som er vanskelige å spore [1].
* Gunstig tolkning av de eksperimentelle resultatene [1].
* Stole på intuisjon [1].
* Vurderer ikke publikum (nye/ikke nye, trafikkilder, betaler/ikke betaler) [1].
* For få brukere [1].
* Kjører flere tester samtidig [1].
* Mangel på tidligere testing [1].
* Feil valg av beregninger [1].
* Feil prøvestørrelse (for liten eller for stor) [1].
Integrering av appanalyse:
Integrering av appanalyse i LiveOps lar deg samle inn verdifulle data om brukerens atferd, preferanser og interesser [4]. A/B -testing er en kraftig måte å teste to versjoner av en funksjon og samle tilbakemeldinger fra brukerne [4]. For å integrere analyser, trenger du effektiv datainnsamlingspraksis [4]. Velg en analyseplattform som er brukervennlig og har robuste evner for brukersegmentering, datavisualisering og personvernoverholdelse [4].
Sitasjoner:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ps-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops--changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ps
[8] https://www.gamedveloper.com/business/a-b-tests-for-analysing-liveops-part-1