Il test A/B è una componente essenziale della strategia LiveOps di Scopely, consentendo decisioni basate sui dati e miglioramento continuo dell'esperienza del giocatore [2] [7]. LiveOps è ad alta intensità di dati, quindi i test sono importanti per evitare errori in un gioco [1].
Che cos'è il test A/B?
Il test A/B, noto anche come test diviso, è un metodo per confrontare due versioni di una pagina Web o di un'app per determinare quale si comporta meglio [2] [6]. Nei test A/B, a diversi utenti vengono somministrate in modo casuale versioni leggermente diverse di un prodotto (gioco) e vengono prese misurazioni per vedere quale opzione funziona meglio [1] [2]. L'opzione vincente viene quindi lanciata a un pubblico più ampio [1]. I test A/B aiutano a apportare accurate modifiche alle esperienze degli utenti mentre si raccolgono dati sull'impatto di tali modifiche [2]. Aiuta a costruire ipotesi e ad apprendere quali elementi e ottimizzazioni delle esperienze incidono di più il comportamento degli utenti [2].
Il piano di test A/B:
Prima di implementare un test A/B, è importante creare un piano. I passaggi nel piano includono [1]:
1. Idee per sperimentare
2. Generazione di opzioni (cosa cambierà esattamente per diversi gruppi)
3. Scelta metrica
4. Preparazione del campione
5. Test preliminari
6. esperimento
7. Interpretazione dei risultati
Esempi di idee di test A/B:
* Test di progettazione diversi disegni, come un pulsante contro due pulsanti, e il testo su ciascuno di essi [1].
* Chiamati all'azione Test di diversi inviti all'azione [1].
* Prezzi e promozioni di prezzi e promozioni di promozioni [1].
* Test della pubblicità per pubblicità diverse [1].
* Notifiche push e test di tempistica Notifiche push e i loro tempi [1].
Test di deterioramento:
Invece di test A/B classici, i "test di deterioramento" possono essere più convenienti per gli eventi LiveOps [1]. In un test di deterioramento, un gruppo di utenti ottiene deliberatamente un'opzione inferiore [1]. Ad esempio, se si desidera aggiungere più livelli a un gioco ma non sei sicuro dei risultati, per un gruppo di nuovi giocatori, è possibile ridurre il numero di livelli e per il secondo gruppo, lasciare tutti i livelli [1]. Se i giocatori che hanno finito tutti i livelli mostrano risultati migliori, è necessario aggiungere più livelli [1].
Generazione delle opzioni:
I test A/B possono avere più di due opzioni perché ci sono anche test multivariati [1]. Ad esempio, è possibile eseguire un test di prezzo e un test di testo contemporaneamente (test multivariati) [1].
Preparazione del campione:
La cosa più importante quando si esegue un test A/B è utilizzare un gruppo di persone che non ha mai incontrato la funzionalità cambiata [1]. Pertanto, i test vengono spesso eseguiti su un tutorial o sul modulo di download, ovvero su quelle persone che prima installano il gioco/applicazione [1]. Inoltre, la raccolta deve essere casuale; È fondamentalmente sbagliato inviare utenti che sono venuti mercoledì in un gruppo e gli utenti che sono arrivati giovedì in un altro [1]. Il modo giusto è combinarli entrambi in un segmento e distribuirli casualmente in due gruppi [1].
Errori comuni nei test A/B:
* Ipotesi e test errati di cambiamenti difficili da tracciare [1].
* Interpretazione favorevole dei risultati sperimentali [1].
* Basandosi sull'intuizione [1].
* Non considerare il pubblico (nuovo/non nuovo, fonti di traffico, pagamento/non pagando) [1].
* Troppo pochi utenti [1].
* Eseguendo diversi test contemporaneamente [1].
* Mancanza di test precedenti [1].
* Scelta errata delle metriche [1].
* Dimensione del campione errata (troppo piccola o troppo grande) [1].
Integrazione dell'analisi delle app:
L'integrazione dell'analisi delle app in LiveOps consente di raccogliere dati preziosi sul comportamento, le preferenze e gli interessi degli utenti [4]. Il test A/B è un modo potente per testare due versioni di una funzione e raccogliere feedback degli utenti [4]. Per integrare l'analisi, sono necessarie pratiche efficaci di raccolta dei dati [4]. Scegli una piattaforma di analisi che è intuitiva e dispone di capacità solide per la segmentazione degli utenti, la visualizzazione dei dati e la conformità alla privacy [4].
Citazioni:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-hanging-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effect-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1