Тестування A/B є важливою складовою стратегії LiveOPS Scopely, що дозволяє приймати рішення, керовані даними, та постійне вдосконалення досвіду гравця [2] [7]. LiveOps є інтенсивним даними, тому тестування важливо уникати помилок у грі [1].
Що таке тестування A/B?
Тестування A/B, також відомого як розділене тестування, - це метод порівняння двох версій веб -сторінки або додатка, щоб визначити, який з них працює краще [2] [6]. У тестах A/B різні користувачі випадково надаються дещо різними версіями продукту (гри), а вимірювання проводяться, щоб побачити, який варіант працює краще [1] [2]. Потім варіант виграшів розгортається до широкої аудиторії [1]. Тестування A/B допомагає зробити ретельні зміни в досвіді користувача, збираючи дані про вплив цих змін [2]. Це допомагає побудувати гіпотези та дізнатися, які елементи та оптимізація досвіду найбільше впливають на поведінку користувачів [2].
План тестування A/B:
Перш ніж реалізувати тест A/B, важливим є створення плану. Кроки плану включають [1]:
1. Ідеї експерименту
2. Генерування варіантів (що саме зміниться для різних груп)
3. Метричний вибір
4. Підготовка зразків
5. Попереднє тестування
6. Експеримент
7. Інтерпретація результатів
Приклади тестування A/B:
* Дизайн тестування різних конструкцій, таких як одна кнопка проти двох кнопок, і текст на кожному з них [1].
* Заклик до тестування дій до різних закликів до дії [1].
* Ціни та акції Тестування цін та акцій [1].
* Тестування реклами різної реклами [1].
* Натисніть сповіщення та тестування на терміни натискання сповіщень та їх терміни [1].
Погіршення тестів:
Замість класичних тестів на A/B, "погіршення тестів" може бути більш економічним для подій у прямому ефірі [1]. У тесті, що погіршується, одна група користувачів свідомо отримує неповноцінний варіант [1]. Наприклад, якщо ви хочете додати більше рівнів до гри, але не впевнені в результатах, для однієї групи нових гравців ви можете зменшити кількість рівнів, а для другої групи залишити всі рівні [1]. Якщо гравці, які закінчили всі рівні, показують кращі результати, тоді потрібно додати більше рівнів [1].
Генерація варіантів:
Тести A/B можуть мати більше двох варіантів, оскільки існує також багатоваріантне тестування [1]. Наприклад, ви можете одночасно запустити тест на ціну та текстовий тест (багатоваріантне тестування) [1].
Підготовка зразка:
Найголовніше при проведенні тесту A/B - це використовувати групу людей, яка ніколи не стикалася з зміненою функціональністю [1]. Тому тести часто проводяться на підручнику або у формі завантаження, тобто для тих людей, які вперше встановлюють гру/додаток [1]. Також вибір повинен бути випадковим; Принципово неправильно відправляти користувачів, які в середу прийшли в одну групу, та користувачі, які в четвер прийшли в інший [1]. Правильний спосіб полягає в тому, щоб поєднати їх обох в одному сегменті і випадковим чином розподілити їх у дві групи [1].
Загальні помилки в тестуванні A/B:
* Неправильна гіпотеза та тестування змін, які важко відстежувати [1].
* Сприятлива інтерпретація експериментальних результатів [1].
* Покладаючись на інтуїцію [1].
* Не враховуючи аудиторію (нові/не нові, джерела трафіку, оплата/не оплата) [1].
* Занадто мало користувачів [1].
* Запуск декількох тестів одночасно [1].
* Відсутність попереднього тестування [1].
* Неправильний вибір показників [1].
* Неправильний розмір вибірки (занадто малий або занадто великий) [1].
Інтеграція аналітики додатків:
Інтеграція аналітики додатків у LiveOP дозволяє збирати цінні дані про поведінку, уподобання та інтереси користувачів [4]. Тестування A/B - це потужний спосіб перевірити дві версії функції та збирати відгуки користувачів [4]. Для інтеграції аналітики вам потрібні ефективні практики збору даних [4]. Виберіть платформу аналітики, яка сприятлива для користувачів та має надійні можливості для сегментації користувачів, візуалізації даних та відповідності конфіденційності [4].
Цитати:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measument-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-fective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1
