Le test A / B est un élément essentiel de la stratégie Liveops de Scopely, permettant des décisions basées sur les données et une amélioration continue de l'expérience des joueurs [2] [7]. LIVEOPS est à forte intensité de données, donc les tests sont importants pour éviter les erreurs dans un jeu [1].
Qu'est-ce que les tests A / B?
Le test A / B, également connu sous le nom de tests Split, est une méthode de comparaison de deux versions d'une page Web ou d'une application pour déterminer celle qui fonctionne mieux [2] [6]. Dans les tests A / B, différents utilisateurs sont donnés au hasard des versions légèrement différentes d'un produit (jeu), et des mesures sont prises pour voir quelle option fonctionne mieux [1] [2]. L'option gagnante est ensuite déployée à un public plus large [1]. Les tests A / B contribuent à des modifications minutieuses aux expériences des utilisateurs lors de la collecte de données sur l'impact de ces modifications [2]. Il aide à construire des hypothèses et à apprendre quels éléments et optimisations des expériences ont le plus d'impact sur le comportement des utilisateurs [2].
Le plan de test A / B:
Avant de mettre en œuvre un test A / B, la création d'un plan est importante. Les étapes du plan incluent [1]:
1. Idées d'expérimentation
2. Génération d'options (ce qui changera exactement pour différents groupes)
3. Choix métrique
4. Préparation des échantillons
5. Test préliminaire
6. Expérience
7. Interprétation des résultats
Exemples d'idées de test A / B:
* Concevoir des tests de différentes conceptions, tels qu'un bouton par rapport à deux boutons, et le texte sur chacun d'eux [1].
* Appel à l'action testant différents appels à l'action [1].
* Prix et promotions testant les prix et les promotions [1].
* Publicité Tester différentes publicités [1].
* Notifications push et tests de synchronisation des notifications push et leur timing [1].
Détrioyer les tests:
Au lieu des tests A / B classiques, les «tests de détérioration» peuvent être plus rentables pour les événements liveops [1]. Dans un test de détérioration, un groupe d'utilisateurs obtient délibérément une option inférieure [1]. Par exemple, si vous souhaitez ajouter plus de niveaux à un jeu mais que vous n'êtes pas sûr des résultats, pour un groupe de nouveaux joueurs, vous pouvez réduire le nombre de niveaux et pour le deuxième groupe, laisser tous les niveaux [1]. Si les joueurs qui ont terminé tous les niveaux montrent de meilleurs résultats, alors ajouter plus de niveaux est nécessaire [1].
Génération d'options:
Les tests A / B peuvent avoir plus de deux options car il existe également des tests multivariés [1]. Par exemple, vous pouvez exécuter un test de prix et un test de texte simultanément (test multivarié) [1].
Préparation des échantillons:
La chose la plus importante lors de l'exécution d'un test A / B est d'utiliser un groupe de personnes qui n'a jamais rencontré la fonctionnalité modifiée [1]. Par conséquent, les tests sont souvent exécutés sur un tutoriel ou sur le formulaire de téléchargement, c'est-à-dire sur les personnes qui installent d'abord le jeu / l'application [1]. De plus, la cueillette doit être aléatoire; Il est fondamentalement faux d'envoyer des utilisateurs qui sont venus mercredi dans un groupe et les utilisateurs qui sont venus jeudi dans un autre [1]. La bonne façon est de les combiner tous les deux dans un segment et de les distribuer au hasard en deux groupes [1].
Erreurs courantes dans les tests A / B:
* Mauvaise hypothèse et tests de changements difficiles à suivre [1].
* Interprétation favorable des résultats expérimentaux [1].
* S'appuyant sur l'intuition [1].
* Ne considérant pas le public (nouveau / pas nouveau, sources de trafic, payant / ne payant pas) [1].
* Trop peu d'utilisateurs [1].
* Exécution de plusieurs tests en même temps [1].
* Manque de tests antérieurs [1].
* Mauvais choix de mesures [1].
* Mauvaise taille de l'échantillon (trop petite ou trop grande) [1].
Intégration d'analyses d'applications:
L'intégration de l'analyse des applications dans LIVEOPS vous permet de collecter des données précieuses sur le comportement, les préférences et les intérêts des utilisateurs [4]. Le test A / B est un moyen puissant de tester deux versions d'une fonctionnalité et de collecter les commentaires des utilisateurs [4]. Pour intégrer l'analyse, vous avez besoin de pratiques de collecte de données efficaces [4]. Choisissez une plate-forme d'analyse conviviale et conviviale et possède des capacités robustes pour la segmentation des utilisateurs, la visualisation des données et la conformité à la confidentialité [4].
Citations:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-loops
[2] https://www.optimizely.com/optimisation-glossary/ab-tetsting/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-start-1