A/B-testen zijn een essentieel onderdeel van de LiveOps-strategie van Scopely, waardoor gegevensgestuurde beslissingen en continue verbetering van de spelerervaring mogelijk zijn [2] [7]. LiveOPS is data-intensief, dus testen is belangrijk om fouten in een spel te voorkomen [1].
Wat is A/B -testen?
A/B -testen, ook bekend als split -testen, is een methode om twee versies van een webpagina of app te vergelijken om te bepalen welke beter [2] [6]. In A/B -tests krijgen verschillende gebruikers willekeurig enigszins verschillende versies van een product (game) en worden metingen genomen om te zien welke optie beter presteert [1] [2]. De winnende optie wordt vervolgens uitgerold voor een breder publiek [1]. A/B -testen helpen om zorgvuldige wijzigingen aan te brengen in gebruikerservaringen en tegelijkertijd gegevens te verzamelen over de impact van die wijzigingen [2]. Het helpt om hypothesen te construeren en te leren welke elementen en optimalisaties van ervaringen het meest beïnvloeden van gebruikersgedrag [2].
Het A/B -testplan:
Voordat u een A/B -test uitvoert, is het maken van een plan belangrijk. Stappen in het plan zijn onder meer [1]:
1. Experimentideeën
2. Optiegeneratie (wat precies zal veranderen voor verschillende groepen)
3. Metrische keuze
4. Voorbereiding van het monster
5. Voorlopige tests
6. Experiment
7. Interpretatie van de resultaten
Voorbeelden van A/B -testideeën:
* Ontwerp testen van verschillende ontwerpen, zoals één knop versus twee knoppen, en de tekst op elk van hen [1].
* Oproep tot actietesten verschillende oproepen tot actie [1].
* Prijzen en promoties testen prijzen en promoties [1].
* Advertentietests verschillende advertenties [1].
* Push -meldingen en timingtestmeldingen en hun timing [1].
verslechterende tests:
In plaats van klassieke A/B-tests, kunnen "verslechterende tests" kosteneffectiever zijn voor LiveOPS-evenementen [1]. In een verslechterende test krijgt een groep gebruikers opzettelijk een inferieure optie [1]. Als u bijvoorbeeld meer niveaus aan een spel wilt toevoegen, maar niet zeker bent van de resultaten, kunt u voor één groep nieuwe spelers het aantal niveaus verlagen en voor de tweede groep alle niveaus achterlaten [1]. Als de spelers die alle niveaus hebben voltooid betere resultaten vertonen, is het toevoegen van meer niveaus nodig [1].
Optiegeneratie:
A/B -tests kunnen meer dan twee opties hebben omdat er ook multivariate testen zijn [1]. U kunt bijvoorbeeld een prijstest en een teksttest tegelijkertijd uitvoeren (multivariate tests) [1].
Voorbereiding van het voorbeeld:
Het belangrijkste bij het uitvoeren van een A/B -test is om een groep mensen te gebruiken die nooit de veranderde functionaliteit is tegengekomen [1]. Daarom worden tests vaak uitgevoerd op een zelfstudie of in het downloadformulier, dat wil zeggen op die mensen die eerst de game/applicatie installeren [1]. Ook moet het plukken willekeurig zijn; Het is fundamenteel verkeerd om gebruikers te sturen die op woensdag naar de ene groep kwamen en gebruikers die donderdag in een andere kwamen [1]. De juiste manier is om ze allebei in één segment te combineren en willekeurig in twee groepen te verspreiden [1].
Veel voorkomende fouten in A/B -testen:
* Verkeerde hypothese en testen van veranderingen die moeilijk te volgen zijn [1].
* Gunstige interpretatie van de experimentele resultaten [1].
* Vertrouwen op intuïtie [1].
* Het publiek niet overwegen (nieuw/niet nieuw, verkeersbronnen, betalen/niet betalen) [1].
* Te weinig gebruikers [1].
* Tegelijkertijd verschillende tests uitvoeren [1].
* Gebrek aan voorafgaande testen [1].
* Verkeerde keuze van statistieken [1].
* Verkeerde steekproefgrootte (te klein of te groot) [1].
App Analytics integreren:
Door app -analyse te integreren in LIVEOPS kunt u waardevolle gegevens verzamelen over het gedrag, voorkeuren en interesses van gebruikers [4]. A/B -testen zijn een krachtige manier om twee versies van een functie te testen en gebruikersfeedback te verzamelen [4]. Om analyses te integreren, hebt u effectieve gegevensverzamelingspraktijken nodig [4]. Kies een analyseplatform dat gebruiksvriendelijk is en heeft robuuste mogelijkheden voor gebruikerssegmentatie, datavisualisatie en privacycompliance [4].
Citaten:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-trategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-forectective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1