A/B-тестирование является важным компонентом стратегии LiveOps Scopely, позволяющей принимать решения, управляемые данными, и постоянное улучшение опыта игрока [2] [7]. LiveOps является интенсивным данных, поэтому тестирование важно, чтобы избежать ошибок в игре [1].
Что такое A/B -тестирование?
A/B -тестирование, также известное как разделение тестирования, представляет собой метод сравнения двух версий веб -страницы или приложения, чтобы определить, какой из них работает лучше [2] [6]. В A/B -тестах различным пользователям случайным образом получают несколько разных версий продукта (Game), и измерения проводятся, чтобы увидеть, какой вариант работает лучше [1] [2]. Затем вариант выигрыша развернута к более широкой аудитории [1]. A/B -тестирование помогает внести тщательные изменения в опыте пользователя, собирая данные о влиянии этих изменений [2]. Это помогает создавать гипотезы и узнать, какие элементы и оптимизации опыта влияют на поведение пользователя [2].
План тестирования A/B:
Перед реализацией теста A/B создать план важно. Шаги в плане включают [1]:
1. Экспериментируйте идеи
2. Генерация опций (что именно изменится для разных групп)
3. Выбор метрика
4. Приготовление образца
5. Предварительное тестирование
6. Эксперимент
7. Интерпретация результатов
Примеры идей тестирования A/B:
* Проектирование тестирования различных конструкций, таких как одна кнопка против двух кнопок, и текст на каждой из них [1].
* Призыв к действию тестирование различных вызовов к действию [1].
* Цены и рекламные акции тестирование цен и рекламные акции [1].
* Рекламное тестирование различных рекламных объявлений [1].
* Push -уведомления и тестирование времени проталкивают уведомления и их время [1].
Ухудшающиеся тесты:
Вместо классических тестов A/B «ухудшение тестов» может быть более экономически эффективным для событий LiveOps [1]. В ухудшении теста одна группа пользователей намеренно получает низкий вариант [1]. Например, если вы хотите добавить больше уровней в игру, но не уверены в результатах, для одной группы новых игроков вы можете снизить количество уровней, а для второй группы оставить все уровни [1]. Если игроки, которые закончили все уровни, показывают лучшие результаты, то необходимо добавление большего количества уровней [1].
Генерация опций:
A/B -тесты могут иметь более двух вариантов, потому что существует также многомерное тестирование [1]. Например, вы можете одновременно запустить тест цены и текстовый тест (многомерное тестирование) [1].
Приготовление образца:
The most important thing when running an A/B test is to use a group of people that has never encountered the changed functionality[1]. Таким образом, тесты часто проводятся на учебном пособии или в форме загрузки, то есть на тех людей, которые сначала устанавливают игру/приложение [1]. Кроме того, выбор должен быть случайным; В основном неправильно отправлять пользователей, которые пришли в среду в одну группу, и пользователей, которые пришли в четверг в другую [1]. Правильный путь - объединить их обоих в одном сегменте и случайным образом распределить их в две группы [1].
Общие ошибки в тестировании A/B:
* Неправильная гипотеза и тестирование изменений, которые трудно отслеживать [1].
* Благоприятная интерпретация экспериментальных результатов [1].
* Полагаясь на интуицию [1].
* Not considering the audience (new/not new, traffic sources, paying/not paying)[1].
* Слишком мало пользователей [1].
* Запуск нескольких тестов одновременно [1].
* Отсутствие предварительного тестирования [1].
* Неправильный выбор метрик [1].
* Неправильный размер выборки (слишком маленький или слишком большой) [1].
Интеграция аналитики приложений:
Интеграция аналитики приложений в LiveOps позволяет вам собирать ценные данные о поведении, предпочтениях и интересах пользователей [4]. A/B -тестирование - это мощный способ проверить две версии функции и сбора отзывов пользователей [4]. Для интеграции аналитики вам нужны эффективные методы сбора данных [4]. Выберите аналитическую платформу, которая удобна для пользователя и имеет надежные возможности для сегментации пользователей, визуализации данных и соответствия конфиденциальности [4].
Цитаты:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-trategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1