Las pruebas A/B son un componente esencial de la estrategia LiveOPS de Scopely, que permite decisiones basadas en datos y una mejora continua de la experiencia del jugador [2] [7]. LiveOPS es intensivo en datos, por lo que las pruebas son importantes para evitar errores en un juego [1].
¿Qué son las pruebas A/B?
Las pruebas A/B, también conocidas como pruebas divididas, es un método para comparar dos versiones de una página web o aplicación para determinar cuál funciona mejor [2] [6]. En las pruebas A/B, diferentes usuarios reciben al azar versiones ligeramente diferentes de un producto (juego), y se toman mediciones para ver qué opción funciona mejor [1] [2]. La opción ganadora se lanza a un público más amplio [1]. Las pruebas A/B ayudan a hacer cambios cuidadosos en las experiencias de los usuarios al recopilar datos sobre el impacto de esos cambios [2]. Ayuda a construir hipótesis y aprender qué elementos y optimizaciones de las experiencias impactan el comportamiento del usuario más [2].
El plan de prueba A/B:
Antes de implementar una prueba A/B, es importante crear un plan. Los pasos en el plan incluyen [1]:
1. Ideas experimentales
2. Generación de opciones (qué cambiará exactamente para diferentes grupos)
3. Elección métrica
4. Preparación de la muestra
5. Pruebas preliminares
6. Experimento
7. Interpretación de los resultados
Ejemplos de ideas de prueba A/B:
* Diseño de prueba de diferentes diseños, como un botón versus dos botones, y el texto de cada uno de ellos [1].
* Llamar a la acción prueba de diferentes llamadas a la acción [1].
* Precios y promociones Pruebas y promociones [1].
* Pruebas de publicidad diferentes anuncios [1].
* Push Notificaciones y pruebas de tiempo notificaciones de impulso y su tiempo [1].
PRUEBAS DE Deterioro:
En lugar de pruebas clásicas de A/B, las "pruebas de deterioro" pueden ser más rentables para los eventos de LiveOPS [1]. En una prueba de deterioro, un grupo de usuarios obtiene deliberadamente una opción inferior [1]. Por ejemplo, si desea agregar más niveles a un juego pero no está seguro de los resultados, para un grupo de nuevos jugadores, puede reducir el número de niveles y para el segundo grupo, dejar todos los niveles [1]. Si los jugadores que terminaron todos los niveles muestran mejores resultados, entonces se necesitan más niveles [1].
Generación de opciones:
Las pruebas A/B pueden tener más de dos opciones porque también hay pruebas multivariadas [1]. Por ejemplo, puede ejecutar una prueba de precio y una prueba de texto simultáneamente (pruebas multivariadas) [1].
Preparación de la muestra:
Lo más importante al ejecutar una prueba A/B es usar un grupo de personas que nunca haya encontrado la funcionalidad cambiada [1]. Por lo tanto, las pruebas a menudo se ejecutan en un tutorial o en el formulario de descarga, es decir, en aquellas personas que primero instalan el juego/aplicación [1]. Además, la selección debe ser aleatoria; Es fundamentalmente incorrecto enviar a los usuarios que llegaron el miércoles a un grupo y usuarios que llegaron el jueves a otro [1]. La forma correcta es combinarlos en un segmento y distribuirlos aleatoriamente en dos grupos [1].
Errores comunes en pruebas A/B:
* Hipótesis incorrecta y prueba de cambios que son difíciles de rastrear [1].
* Interpretación favorable de los resultados experimentales [1].
* Confiante la intuición [1].
* No considerar a la audiencia (nueva/no nueva, fuentes de tráfico, pagar/no pagar) [1].
* Muy pocos usuarios [1].
* Ejecutando varias pruebas al mismo tiempo [1].
* Falta de pruebas previas [1].
* Elección incorrecta de métricas [1].
* Tamaño de muestra incorrecto (demasiado pequeño o demasiado grande) [1].
Integración de análisis de aplicaciones:
La integración de APP Analytics en LiveOPS le permite recopilar datos valiosos sobre el comportamiento, las preferencias e intereses de los usuarios [4]. Las pruebas A/B son una forma poderosa de probar dos versiones de una función y recopilar comentarios de los usuarios [4]. Para integrar el análisis, necesita prácticas efectivas de recopilación de datos [4]. Elija una plataforma de análisis que sea fácil de usar y tenga capacidades robustas para la segmentación de usuarios, la visualización de datos y el cumplimiento de la privacidad [4].
Citas:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloperer.com/business/a-b-tests-for-analysing-liveops-part-1