Η δοκιμή A/B αποτελεί βασικό στοιχείο της στρατηγικής LiveOps της Scopely, επιτρέποντας τις αποφάσεις που βασίζονται σε δεδομένα και τη συνεχή βελτίωση της εμπειρίας του παίκτη [2] [7]. Το LiveOps είναι έντονο, οπότε η δοκιμή είναι σημαντική για να αποφευχθούν λάθη σε ένα παιχνίδι [1].
Τι είναι η δοκιμή A/B;
Η δοκιμή A/B, γνωστή και ως δοκιμή διαχωρισμού, είναι μια μέθοδος σύγκρισης δύο εκδόσεων μιας ιστοσελίδας ή μιας εφαρμογής για να προσδιορίσει ποια έχει καλύτερη απόδοση [2] [6]. Σε δοκιμές A/B, διαφορετικοί χρήστες δίνονται τυχαία ελαφρώς διαφορετικές εκδόσεις ενός προϊόντος (παιχνίδι) και λαμβάνονται μετρήσεις για να δουν ποια επιλογή εκτελεί καλύτερα [1] [2]. Στη συνέχεια, η επιλογή κερδίζει σε ένα ευρύτερο κοινό [1]. Οι δοκιμές A/B βοηθούν στην πραγματοποίηση προσεκτικών αλλαγών στις εμπειρίες των χρηστών ενώ συλλέγουν δεδομένα σχετικά με τον αντίκτυπο αυτών των αλλαγών [2]. Βοηθά στη δημιουργία υποθέσεων και να μάθει ποια στοιχεία και βελτιστοποιήσεις των εμπειριών επηρεάζουν τη συμπεριφορά των χρηστών περισσότερο [2].
Το σχέδιο δοκιμής A/B:
Πριν από την εφαρμογή μιας δοκιμής A/B, η δημιουργία ενός σχεδίου είναι σημαντική. Τα βήματα στο σχέδιο περιλαμβάνουν [1]:
1. Ιδέες πειράματος
2. Παραγωγή επιλογών (τι ακριβώς θα αλλάξει για διαφορετικές ομάδες)
3. Μετρική επιλογή
4. Προετοιμασία δείγματος
5. Προκαταρκτικές δοκιμές
6. Πείραμα
7. Ερμηνεία των αποτελεσμάτων
Παραδείγματα ιδεών δοκιμών A/B:
* Σχεδιασμός δοκιμών διαφορετικών σχεδίων, όπως ένα κουμπί έναντι δύο κουμπιών, και το κείμενο σε κάθε ένα από αυτά [1].
* Πρόσκληση για δράση Δοκιμή διαφορετικών προσκλήσεων για δράση [1].
* Τιμές και προωθήσεις δοκιμών και προωθήσεις [1].
* Δοκιμή διαφήμισης Διαφορετικές διαφημίσεις [1].
* Ειδοποιήσεις Push και Timing Testing Push Push και το χρονοδιάγραμμα τους [1].
επιδείνωση των δοκιμών:
Αντί των κλασσικών δοκιμών A/B, οι "επιδεινούμενες δοκιμές" μπορεί να είναι πιο αποδοτικές για τις εκδηλώσεις LiveOps [1]. Σε μια επιδεινούμενη δοκιμή, μια ομάδα χρηστών παίρνει σκόπιμα μια κατώτερη επιλογή [1]. Για παράδειγμα, εάν θέλετε να προσθέσετε περισσότερα επίπεδα σε ένα παιχνίδι, αλλά δεν είστε σίγουροι για τα αποτελέσματα, για μια ομάδα νέων παικτών, μπορείτε να μειώσετε τον αριθμό των επιπέδων και για τη δεύτερη ομάδα, αφήστε όλα τα επίπεδα [1]. Εάν οι παίκτες που τελείωσαν όλα τα επίπεδα δείχνουν καλύτερα αποτελέσματα, τότε απαιτείται περισσότερα επίπεδα [1].
Γενιά επιλογής:
Οι δοκιμές A/B μπορούν να έχουν περισσότερες από δύο επιλογές, επειδή υπάρχουν επίσης δοκιμές πολλαπλών μεταβλητών [1]. Για παράδειγμα, μπορείτε να εκτελέσετε μια δοκιμή τιμών και μια δοκιμή κειμένου ταυτόχρονα (δοκιμές πολλαπλών μεταβλητών) [1].
Προετοιμασία δείγματος:
Το πιο σημαντικό πράγμα κατά τη διεξαγωγή μιας δοκιμής A/B είναι να χρησιμοποιήσετε μια ομάδα ανθρώπων που ποτέ δεν αντιμετώπισε τη μεταβαλλόμενη λειτουργικότητα [1]. Ως εκ τούτου, οι δοκιμές εκτελούνται συχνά σε ένα σεμινάριο ή στη φόρμα λήψης, δηλαδή σε εκείνους τους ανθρώπους που εγκαθιστούν πρώτα το παιχνίδι/εφαρμογή [1]. Επίσης, η επιλογή πρέπει να είναι τυχαία. Είναι θεμελιωδώς λάθος να στείλετε χρήστες που ήρθαν την Τετάρτη σε μία ομάδα και χρήστες που ήρθαν την Πέμπτη σε άλλο [1]. Ο σωστός τρόπος είναι να συνδυάσετε και τα δύο σε ένα τμήμα και να τα διανείμετε τυχαία σε δύο ομάδες [1].
Κοινά σφάλματα σε δοκιμές A/B:
* Λάθος υπόθεση και δοκιμή αλλαγών που είναι δύσκολο να παρακολουθηθούν [1].
* Ευνοϊκή ερμηνεία των πειραματικών αποτελεσμάτων [1].
* Βασιζόμενη στη διαίσθηση [1].
* Δεν εξετάζετε το κοινό (νέο/όχι νέο, πηγές κυκλοφορίας, πληρωμή/μη πληρωμή) [1].
* Πολύ λίγοι χρήστες [1].
* Εκτέλεση αρκετών δοκιμών ταυτόχρονα [1].
* Έλλειψη προηγούμενων δοκιμών [1].
* Λανθασμένη επιλογή μετρήσεων [1].
* Λάθος μέγεθος δείγματος (πολύ μικρό ή πολύ μεγάλο) [1].
Ενσωμάτωση ανάλυσης εφαρμογών:
Η ενσωμάτωση της ανάλυσης εφαρμογών σε liveOps σάς επιτρέπει να συλλέγετε πολύτιμα δεδομένα σχετικά με τη συμπεριφορά των χρηστών, τις προτιμήσεις και τα ενδιαφέροντα [4]. Η δοκιμή A/B είναι ένας ισχυρός τρόπος για να δοκιμάσετε δύο εκδόσεις ενός χαρακτηριστικού και να συλλέξετε ανατροφοδότηση χρηστών [4]. Για να ενσωματώσετε τα αναλυτικά στοιχεία, χρειάζεστε αποτελεσματικές πρακτικές συλλογής δεδομένων [4]. Επιλέξτε μια πλατφόρμα ανάλυσης που είναι φιλική προς το χρήστη και έχει ισχυρές δυνατότητες για την κατάτμηση των χρηστών, την απεικόνιση δεδομένων και τη συμμόρφωση με την προστασία της ιδιωτικής ζωής [4].
Αναφορές:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measuament-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1