يعد اختبار A/B مكونًا أساسيًا لاستراتيجية LiveOps الخاصة بـ Scopely ، مما يسمح بالقرارات القائمة على البيانات والتحسين المستمر لتجربة اللاعب [2] [7]. LiveOps كثيفة البيانات ، لذا فإن الاختبار مهم لتجنب الأخطاء في اللعبة [1].
ما هو اختبار A/B؟
يعد اختبار A/B ، المعروف أيضًا باسم اختبار الانقسام ، وسيلة لمقارنة نسختين من صفحة ويب أو تطبيق لتحديد أيهما يؤدي بشكل أفضل [2] [6]. في اختبارات A/B ، يتم إعطاء المستخدمين المختلفين بشكل عشوائي إصدارات مختلفة قليلاً من المنتج (اللعبة) ، ويتم إجراء قياسات لمعرفة الخيار الذي يؤدي بشكل أفضل [1] [2]. ثم يتم طرح الخيار الفائز إلى جمهور أوسع [1]. يساعد اختبار A/B على إجراء تغييرات دقيقة على تجارب المستخدم أثناء جمع البيانات حول تأثير تلك التغييرات [2]. يساعد على بناء الفرضيات ومعرفة ما هي عناصر وتحسينات التجارب التي تؤثر على سلوك المستخدم أكثر [2].
خطة اختبار A/B:
قبل تنفيذ اختبار A/B ، يعد إنشاء خطة أمرًا مهمًا. تشمل الخطوات في الخطة [1]:
1
2. توليد الخيار (ما الذي سيتغير بالضبط للمجموعات المختلفة)
3. اختيار القياس
4. تحضير العينة
5. اختبار أولي
6. التجربة
7. تفسير النتائج
أمثلة على أفكار اختبار A/B:
* تصميم اختبار تصميمات مختلفة ، مثل زر واحد مقابل زريين ، والنص على كل منهما [1].
* دعوة إلى الإجراء اختبار مكالمات مختلفة للعمل [1].
* الأسعار والترقيات اختبار الأسعار والترقيات [1].
* اختبار الإعلانات إعلانات مختلفة [1].
* دفع الإخطارات واختبار التوقيت الإخطارات وتوقيتها [1].
اختبارات تدهور:
بدلاً من اختبارات A/B الكلاسيكية ، يمكن أن تكون "الاختبارات المتدهورة" أكثر فعالية من حيث التكلفة لأحداث LiveOps [1]. في اختبار تدهور ، تحصل مجموعة واحدة من المستخدمين عمداً على خيار أدنى [1]. على سبيل المثال ، إذا كنت ترغب في إضافة المزيد من المستويات إلى لعبة ولكنك غير متأكد من النتائج ، بالنسبة لمجموعة واحدة من اللاعبين الجدد ، فيمكنك تقليل عدد المستويات ، وللمجموعة الثانية ، ترك جميع المستويات [1]. إذا أظهر اللاعبون الذين أنهوا جميع المستويات نتائج أفضل ، فستكون هناك حاجة لإضافة المزيد من المستويات [1].
توليد الخيار:
يمكن أن تحتوي اختبارات A/B على أكثر من خيارين لأن هناك أيضًا اختبارات متعددة المتغيرات [1]. على سبيل المثال ، يمكنك إجراء اختبار الأسعار واختبار نص في وقت واحد (اختبار متعدد المتغيرات) [1].
تحضير العينة:
أهم شيء عند إجراء اختبار A/B هو استخدام مجموعة من الأشخاص الذين لم يواجهوا الوظيفة المتغيرة أبدًا [1]. لذلك ، غالبًا ما يتم إجراء الاختبارات على برنامج تعليمي أو في نموذج التنزيل ، أي على هؤلاء الأشخاص الذين يقومون أولاً بتثبيت اللعبة/التطبيق [1]. أيضا ، يجب أن يكون الانتقاء عشوائيا. من الخطأ بشكل أساسي إرسال المستخدمين الذين حضروا يوم الأربعاء إلى مجموعة واحدة والمستخدمين الذين حضروا يوم الخميس إلى آخر [1]. الطريقة الصحيحة هي الجمع بينهما في شريحة واحدة وتوزيعهما بشكل عشوائي على مجموعتين [1].
أخطاء شائعة في اختبار A/B:
* فرضية خاطئة واختبار التغييرات التي يصعب تتبعها [1].
* التفسير الإيجابي للنتائج التجريبية [1].
* الاعتماد على الحدس [1].
* لا تفكر في الجمهور (مصادر حركة مرور جديدة/ليست جديدة ، تدفع/لا تدفع) [1].
* عدد قليل جدا من المستخدمين [1].
* إجراء عدة اختبارات في نفس الوقت [1].
* نقص الاختبارات السابقة [1].
* الاختيار الخاطئ للمقاييس [1].
* حجم عينة خاطئ (صغير جدًا أو كبير جدًا) [1].
دمج تحليلات التطبيق:
يتيح لك دمج تحليلات التطبيق في LiveOps جمع بيانات قيمة حول سلوك المستخدمين وتفضيلاتهم واهتماماتهم [4]. يعد اختبار A/B طريقة قوية لاختبار نسختين من الميزة وجمع ملاحظات المستخدم [4]. لدمج التحليلات ، تحتاج إلى ممارسات فعالة لجمع البيانات [4]. اختر منصة تحليلات سهلة الاستخدام ولديها قدرات قوية لتجزئة المستخدم وتصور البيانات والامتثال للخصوصية [4].
الاستشهادات:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3]
[4]
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-mames.com/blog/5-tips-for-fettive-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-bart-1