A/B-Tests sind ein wesentlicher Bestandteil der LiveOp-Strategie von Scopely, die datengesteuerte Entscheidungen und kontinuierliche Verbesserung der Spielerfahrung ermöglichen [2] [7]. LiveOps ist datenintensiv, daher ist das Testen wichtig, um Fehler in einem Spiel zu vermeiden [1].
Was ist A/B -Tests?
A/B -Tests, auch als Split -Test bezeichnet, ist eine Methode zum Vergleich von zwei Versionen einer Webseite oder einer App, um zu bestimmen, welche besser abschneidet [2] [6]. In A/B -Tests werden verschiedene Benutzer zufällig leicht unterschiedliche Versionen eines Produkts (Spiel) verabreicht, und es werden Messungen durchgeführt, um zu erkennen, welche Option besser abschneidet [1] [2]. Die Siegeroption wird dann an ein breiteres Publikum eingeführt [1]. A/B -Tests hilft dabei, sorgfältige Änderungen der Benutzererfahrungen vorzunehmen und gleichzeitig Daten über die Auswirkungen dieser Änderungen zu sammeln [2]. Es hilft, Hypothesen zu konstruieren und zu lernen, welche Elemente und Optimierungen von Erlebnissen am meisten wirken [2].
Der A/B -Testplan:
Vor der Implementierung eines A/B -Tests ist es wichtig, einen Plan zu erstellen. Zu den Schritten des Plans gehören [1]:
1. Ideen experimentieren
2. Optionsgenerierung (Was genau wird sich für verschiedene Gruppen ändern)
3. Metrikauswahl
4. Probenvorbereitung
5. Vorversuch
6. Experiment
7. Interpretation der Ergebnisse
Beispiele für A/B -Testideen:
* Entwurf testen verschiedene Designs, z. B. eine Taste gegenüber zwei Schaltflächen und den Text auf jedem von ihnen [1].
* Aufruf zum Handeln aufrufen, um verschiedene Handlungsaufrufe zu testen [1].
* Preise und Werbeaktionen testen Preise und Werbeaktionen [1].
* Werbung testen verschiedene Anzeigen [1].
* Push -Benachrichtigungen und Timing -Test -Push -Benachrichtigungen und deren Timing [1].
Verschlechtere Tests:
Anstelle klassischer A/B-Tests können "verschlechterte Tests" für LiveOPS-Ereignisse kostengünstiger sein [1]. In einem sich verschlechternden Test erhält eine Gruppe von Benutzern absichtlich eine minderwertige Option [1]. Wenn Sie beispielsweise mehr Level zu einem Spiel hinzufügen möchten, sich jedoch nicht sicher sind, können Sie für eine Gruppe neuer Spieler die Anzahl der Ebenen reduzieren und für die zweite Gruppe alle Ebenen verlassen [1]. Wenn die Spieler, die alle Level beendet haben, bessere Ergebnisse zeigen, ist das Hinzufügen von mehr Ebenen erforderlich [1].
Option Generierung:
A/B -Tests können mehr als zwei Optionen haben, da es auch multivariate Tests gibt [1]. Sie können beispielsweise gleichzeitig einen Preistest und einen Texttest ausführen (multivariate Tests) [1].
Beispielvorbereitung:
Das Wichtigste beim Durchführen eines A/B -Tests ist die Verwendung einer Gruppe von Personen, die nie auf die veränderte Funktionalität gestoßen sind [1]. Daher werden Tests häufig in einem Tutorial oder auf dem Download -Formular durchgeführt, dh auf Personen, die zuerst das Spiel/die Anwendung installieren [1]. Auch die Auswahl muss zufällig sein; Es ist grundsätzlich falsch, Benutzer zu schicken, die am Mittwoch in eine Gruppe kamen, und Benutzer, die am Donnerstag in eine andere [1] kamen. Der richtige Weg besteht darin, beide in einem Segment zu kombinieren und sie zufällig in zwei Gruppen zu verteilen [1].
Häufige Fehler bei A/B -Tests:
* Falsche Hypothese und Prüfung von Veränderungen, die schwer zu verfolgen sind [1].
* Günstige Interpretation der experimentellen Ergebnisse [1].
* Auf Intuition verlassen [1].
* Nicht das Publikum betrachten (neu/nicht neu, Verkehrsquellen, zahlen/nicht bezahlen) [1].
* Zu wenige Benutzer [1].
* Gleichzeitig mehrere Tests ausführen [1].
* Mangel an vorherigen Tests [1].
* Falsche Auswahl der Metriken [1].
* Falsche Stichprobengröße (zu klein oder zu groß) [1].
Integrieren von App Analytics:
Durch die Integration von App -Analysen in LiveOps können Sie wertvolle Daten über Verhalten, Vorlieben und Interessen von Benutzern sammeln [4]. A/B -Tests sind eine leistungsstarke Möglichkeit, zwei Versionen einer Funktion zu testen und Benutzer -Feedback zu sammeln [4]. Um Analysen zu integrieren, benötigen Sie effektive Datenerfassungspraktiken [4]. Wählen Sie eine Analyseplattform, die benutzerfreundlich ist und robuste Funktionen für die Segmentierung von Benutzer, Datenvisualisierung und die Einhaltung der Privatsphäre bietet [4].
Zitate:
[1] https://www.devtodev.com/resources/Articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-op-prategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tip-for-effective-live-ops
[8] https://www.gaMedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1