O teste A/B é um componente essencial da estratégia de Liveops da Scopely, permitindo decisões orientadas a dados e melhoria contínua da experiência do jogador [2] [7]. O LiveOps é intensivo de dados, portanto, os testes são importantes para evitar erros em um jogo [1].
O que é o teste A/B?
O teste A/B, também conhecido como teste dividido, é um método de comparação de duas versões de uma página ou aplicativo para determinar qual é o desempenho melhor [2] [6]. Nos testes A/B, diferentes usuários recebem aleatoriamente versões ligeiramente diferentes de um produto (jogo) e as medições são tomadas para ver qual opção tem um desempenho melhor [1] [2]. A opção vencedora é então lançada para um público mais amplo [1]. O teste A/B ajuda a fazer alterações cuidadosas nas experiências do usuário ao coletar dados sobre o impacto dessas alterações [2]. Ajuda a construir hipóteses e a aprender quais elementos e otimizações de experiências afetam mais o comportamento do usuário [2].
O plano de teste A/B:
Antes de implementar um teste A/B, a criação de um plano é importante. As etapas do plano incluem [1]:
1. Idéias do experimento
2. Geração de opções (o que exatamente mudará para diferentes grupos)
3. Escolha métrica
4. Preparação de amostra
5. Teste preliminar
6. Experimento
7. Interpretação dos resultados
Exemplos de idéias de teste A/B:
* Projeto testando designs diferentes, como um botão versus dois botões, e o texto em cada um deles [1].
* Chamado à ação testando diferentes chamadas à ação [1].
* Preços e promoções Testando preços e promoções [1].
* Testes de publicidade diferentes anúncios [1].
* Notificações push e testes de tempo de notificações push e seu tempo [1].
Testes de deterioração:
Em vez de testes clássicos de A/B, "testes de deterioração" podem ser mais econômicos para eventos do LiveOps [1]. Em um teste de deterioração, um grupo de usuários deliberadamente recebe uma opção inferior [1]. Por exemplo, se você deseja adicionar mais níveis a um jogo, mas não tem certeza dos resultados, para um grupo de novos jogadores, pode reduzir o número de níveis e, para o segundo grupo, deixar todos os níveis [1]. Se os jogadores que terminaram todos os níveis mostrarem melhores resultados, será necessário adicionar mais níveis [1].
Geração de opções:
Os testes A/B podem ter mais de duas opções, porque também existem testes multivariados [1]. Por exemplo, você pode executar um teste de preço e um teste de texto simultaneamente (teste multivariado) [1].
Preparação de amostra:
A coisa mais importante ao executar um teste A/B é usar um grupo de pessoas que nunca encontrou a funcionalidade alterada [1]. Portanto, os testes geralmente são executados em um tutorial ou no formulário de download, ou seja, nas pessoas que primeiro instalam o jogo/aplicativo [1]. Além disso, a colheita deve ser aleatória; É fundamentalmente errado enviar usuários que vieram na quarta -feira em um grupo e usuários que vieram na quinta -feira para outro [1]. A maneira certa é combinar os dois em um segmento e distribuí -los aleatoriamente em dois grupos [1].
Erros comuns no teste A/B:
* Hipótese errada e teste de alterações difíceis de rastrear [1].
* Interpretação favorável dos resultados experimentais [1].
* Confiando na intuição [1].
* Não considerando o público (novo/não novo, fontes de tráfego, pagando/não pagando) [1].
* Poucos usuários [1].
* Executando vários testes ao mesmo tempo [1].
* Falta de teste prévio [1].
* Escolha errada das métricas [1].
* Tamanho da amostra errado (muito pequeno ou grande) [1].
Integração de aplicativos de aplicativos:
A integração da análise de aplicativos no LiveOps permite coletar dados valiosos sobre comportamento, preferências e interesses dos usuários [4]. O teste A/B é uma maneira poderosa de testar duas versões de um recurso e coletar feedback do usuário [4]. Para integrar a análise, você precisa de práticas eficazes de coleta de dados [4]. Escolha uma plataforma de análise que seja fácil de usar e possuir recursos robustos para segmentação de usuários, visualização de dados e conformidade da privacidade [4].
Citações:
[1] https://www.devtodev.com/resources/articles/a-b-testing-gliveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guestpos-starting-b--live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1