A/B-testning är en väsentlig komponent i Scopelys LiveOps-strategi, vilket möjliggör datadrivna beslut och kontinuerlig förbättring av spelarupplevelsen [2] [7]. LiveOps är datakrävande, så testning är viktig för att undvika misstag i ett spel [1].
What is A/B Testing?
A/B -testning, även känd som delad testning, är en metod för att jämföra två versioner av en webbsida eller app för att bestämma vilken som fungerar bättre [2] [6]. I A/B -tester ges olika användare slumpmässigt något olika versioner av en produkt (spel), och mätningar görs för att se vilket alternativ som fungerar bättre [1] [2]. The winning option is then rolled out to a wider audience[1]. A/B testing helps to make careful changes to user experiences while collecting data on the impact of those changes[2]. Det hjälper till att konstruera hypoteser och lära sig vilka element och optimeringar av upplevelser påverkar användarens beteende mest [2].
A/B -testplanen:
Innan du implementerar ett A/B -test är det viktigt att skapa en plan. Steg i planen inkluderar [1]:
1. Experimentidéer
2. Option generation (what exactly will change for different groups)
3. Metriskt val
4. Provförberedelser
5. Preliminär testning
6. Experiment
7. Tolkning av resultaten
Exempel på A/B -testidéer:
* Designtestning av olika mönster, till exempel en knapp kontra två knappar, och texten på var och en av dem [1].
* Call to action Testing different calls to action[1].
* Prices and promotions Testing prices and promotions[1].
* Advertising Testing different advertisements[1].
* Push notifications and timing Testing push notifications and their timing[1].
Deteriorating Tests:
I stället för klassiska A/B-test kan "försämrade tester" vara mer kostnadseffektiva för LiveOps-händelser [1]. In a deteriorating test, one group of users deliberately gets an inferior option[1]. Om du till exempel vill lägga till fler nivåer i ett spel men är osäkra på resultaten, kan du för en grupp nya spelare minska antalet nivåer, och för den andra gruppen lämna alla nivåer [1]. If the players who finished all the levels show better results, then adding more levels is needed[1].
Alternativgenerering:
A/B tests can have more than two options because there is also multivariate testing[1]. Till exempel kan du köra ett prisprov och ett texttest samtidigt (multivariat testning) [1].
Provförberedelse:
Det viktigaste när man kör ett A/B -test är att använda en grupp människor som aldrig har stött på den förändrade funktionaliteten [1]. Därför körs tester ofta på en handledning eller på nedladdningsformuläret, det vill säga på de människor som först installerar spelet/applikationen [1]. Also, the picking must be random; Det är i grunden fel att skicka användare som kom på onsdag till en grupp och användare som kom på torsdagen till en annan [1]. Det rätta sättet är att kombinera båda i ett segment och slumpmässigt distribuera dem i två grupper [1].
Vanliga fel i A/B -testning:
* Fel hypotes och testning av förändringar som är svåra att spåra [1].
* Gynnsam tolkning av de experimentella resultaten [1].
* Förlita sig på intuition [1].
* Med tanke på publiken (nya/inte nya trafikkällor, betalar/betalar inte) [1].
* För få användare [1].
* Kör flera tester samtidigt [1].
* Lack of prior testing[1].
* Fel val av mätvärden [1].
* Fel provstorlek (för liten eller för stor) [1].
Integrering av appanalys:
Integrating app analytics into LiveOps allows you to collect valuable data about usersâ behavior, preferences, and interests[4]. A/B -testning är ett kraftfullt sätt att testa två versioner av en funktion och samla användaråterkoppling [4]. To integrate analytics, you need effective data collection practices[4]. Choose an analytics platform thatâs user-friendly and has robust capabilities for user segmentation, data visualization, and privacy compliance[4].
Citeringar:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategi/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-choging-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1