A/Bテストは、ScopelyのLiveOps戦略の重要な要素であり、データ駆動型の決定とプレイヤーエクスペリエンスの継続的な改善を可能にします[2] [7]。 LiveOpsはデータ集約型なので、ゲームの間違いを避けるためにテストが重要です[1]。
A/Bテストとは？
分割テストとも呼ばれるA/Bテストは、Webページまたはアプリの2つのバージョンを比較して、どのパフォーマンスを発揮するかを判断する方法です[2] [6]。 A/Bテストでは、異なるユーザーには製品のわずかに異なるバージョン(ゲーム)がランダムに与えられ、どのオプションがより良いパフォーマンスを発揮するかを確認するために測定が行われます[1] [2]。その後、受賞オプションはより多くの視聴者に展開されます[1]。 A/Bテストは、これらの変更の影響に関するデータを収集しながら、ユーザーエクスペリエンスに慎重に変更を加えるのに役立ちます[2]。仮説を構築し、どのような要素と経験の最適化がユーザーの行動に最も影響を与えるかを学ぶのに役立ちます[2]。
A/Bテスト計画：
A/Bテストを実装する前に、計画を作成することが重要です。計画のステップには[1]が含まれます。
1。実験のアイデア
2。オプション生成(さまざまなグループで正確に変更されるもの)
3。メトリックの選択
4。サンプル準備
5。予備テスト
6。実験
7。結果の解釈
A/Bテストのアイデアの例：
* 2つのボタンとそれぞれのテキストなど、1つのボタンなどのさまざまなデザインをテストする設計[1]。
*さまざまな行動の呼び出しをテストするための行動[1]。
*価格とプロモーションのテスト価格とプロモーション[1]。
*さまざまな広告の広告テスト[1]。
*プッシュ通知とタイミングテストプッシュ通知とそのタイミング[1]。
テストの悪化：
古典的なA/Bテストの代わりに、「テストの悪化」は、LiveOpsイベントにより費用対効果が高くなる可能性があります[1]。悪化するテストでは、1つのユーザーグループが意図的に劣ったオプションを取得します[1]。たとえば、ゲームにさらにレベルを追加したいが、結果がわからない場合は、新しいプレーヤーの1つのグループについて、レベル数を減らし、2番目のグループではすべてのレベルを残すことができます[1]。すべてのレベルを終えたプレーヤーがより良い結果を示している場合、より多くのレベルを追加する必要があります[1]。
オプション生成：
A/Bテストには、多変量テストもあるため、2つ以上のオプションがあります[1]。たとえば、価格テストとテキストテストを同時に実行できます(多変量テスト)[1]。
サンプル準備：
A/Bテストを実行する際の最も重要なことは、変化した機能に遭遇したことがない人のグループを使用することです[1]。したがって、テストは、多くの場合、チュートリアルまたはダウンロードフォーム、つまりゲーム/アプリケーションを最初にインストールする人々で実行されます[1]。また、ピッキングはランダムでなければなりません。水曜日に来たユーザーを1つのグループに送り、木曜日に来たユーザーを別のグループに送ることは根本的に間違っています[1]。正しい方法は、それらの両方を1つのセグメントに組み合わせて、2つのグループにランダムに分配することです[1]。
A/Bテストの一般的なエラー：
*追跡が困難な変化の誤った仮説とテスト[1]。
*実験結果の好ましい解釈[1]。
*直感に依存する[1]。
*視聴者(新規/新しいものではない、交通源、支払い/支払いをしていない)を考慮しない[1]。
*ユーザーが少なすぎます[1]。
*同時にいくつかのテストを実行します[1]。
*以前のテストの欠如[1]。
*メトリックの誤った選択[1]。
*間違ったサンプルサイズ(小さすぎるか大きすぎる)[1]。
アプリ分析の統合：
アプリ分析をLiveOPSに統合すると、ユーザーの行動、好み、および関心に関する貴重なデータを収集できます[4]。 A/Bテストは、機能の2つのバージョンをテストし、ユーザーフィードバックを収集する強力な方法です[4]。分析を統合するには、効果的なデータ収集慣行が必要です[4]。ユーザーフレンドリーで、ユーザーセグメンテーション、データ視覚化、プライバシーコンプライアンスのための堅牢な機能を備えた分析プラットフォームを選択します[4]。
引用：
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-btests-for-analysing-liveops-1