A/B 테스트는 Scopely의 LiveOps 전략의 필수 구성 요소로서 데이터 중심 결정과 플레이어 경험의 지속적인 개선을 허용합니다 [2] [7]. LiveOps는 데이터 집약적이므로 게임에서 실수를 피하기 위해 테스트가 중요합니다 [1].
A/B 테스트는 무엇입니까?
분할 테스트라고도하는 A/B 테스트는 두 가지 버전의 웹 페이지 또는 앱을 비교하여 어느 것이 더 나은 성능을 결정하는지를 결정하는 방법입니다 [2] [6]. A/B 테스트에서, 다른 사용자에게는 약간 다른 버전의 제품 (게임)이 무작위로 주어지고 측정에서 어떤 옵션이 더 나은지 더 잘 수행되는지 확인합니다 [1] [2]. 승리 옵션은 더 많은 청중에게 출시됩니다 [1]. A/B 테스트는 이러한 변경의 영향에 대한 데이터를 수집하면서 사용자 경험을 신중하게 변경하는 데 도움이됩니다 [2]. 그것은 가설을 구성하고 경험의 요소와 최적화가 사용자 행동에 가장 큰 영향을 미치는지 배우는 데 도움이됩니다 [2].
A/B 테스트 계획 :
A/B 테스트를 구현하기 전에 계획을 세우는 것이 중요합니다. 계획의 단계에는 [1]가 포함됩니다.
1. 실험 아이디어
2. 옵션 생성 (다른 그룹에 대해 정확히 변화 할 것)
3. 메트릭 선택
4. 샘플 준비
5. 예비 테스트
6. 실험
7. 결과의 해석
A/B 테스트 아이디어의 예 :
* 하나의 버튼 대 두 개의 버튼과 같은 다른 디자인과 각각의 텍스트와 같은 다른 디자인을 테스트하는 디자인 [1].
* 다른 통화를 테스트하는 Call to Action [1].
* 가격 및 프로모션 가격 테스트 가격 및 프로모션 [1].
* 광고 테스트 다른 광고 [1].
* 푸시 알림 및 타이밍 테스트 푸시 알림 및 타이밍 [1].
테스트 악화 :
고전적인 A/B 테스트 대신 "악화 테스트"는 LiveOps 이벤트에 더 비용 효율적일 수 있습니다 [1]. 악화 된 테스트에서 한 그룹의 사용자가 고의적으로 열등한 옵션을 얻습니다 [1]. 예를 들어, 게임에 더 많은 레벨을 추가하려고하지만 결과를 확신하지 못하면 새로운 플레이어 그룹의 경우 레벨 수를 줄이고 두 번째 그룹의 경우 모든 레벨을 남겨 둘 수 있습니다 [1]. 모든 레벨을 완료 한 플레이어가 더 나은 결과를 보이면 더 많은 레벨을 추가해야합니다 [1].
옵션 생성 :
다변량 테스트가 있기 때문에 A/B 테스트는 두 가지 이상의 옵션을 가질 수 있습니다 [1]. 예를 들어 가격 테스트와 텍스트 테스트를 동시에 실행할 수 있습니다 (다변량 테스트) [1].
샘플 준비 :
A/B 테스트를 실행할 때 가장 중요한 것은 변경된 기능을 한 적이없는 사람들의 그룹을 사용하는 것입니다 [1]. 따라서 테스트는 종종 자습서 나 다운로드 양식, 즉 게임/응용 프로그램을 처음 설치하는 사람들에게 실행됩니다 [1]. 또한 따기는 무작위 여야합니다. 수요일에 온 사용자를 한 그룹과 목요일에 온 사용자를 목요일에 다른 사용자에게 보내는 것은 근본적으로 잘못입니다 [1]. 올바른 방법은 두 세그먼트에 두 가지를 결합하여 무작위로 두 그룹으로 분배하는 것입니다 [1].
A/B 테스트의 일반적인 오류 :
* 잘못된 가설과 추적하기 어려운 변화에 대한 테스트 [1].
* 실험 결과에 대한 유리한 해석 [1].
* 직관에 의존 [1].
* 청중을 고려하지 않음 (신규/신규, 교통 소스, 지불/지불하지 않음) [1].
* 너무 적은 사용자 [1].
* 동시에 여러 테스트를 실행합니다 [1].
* 사전 테스트 부족 [1].
* 잘못된 메트릭 선택 [1].
* 잘못된 샘플 크기 (너무 작거나 너무 큰) [1].
앱 분석 통합 :
앱 분석을 LiveOps에 통합하면 사용자 행동, 선호도 및 관심사에 대한 귀중한 데이터를 수집 할 수 있습니다 [4]. A/B 테스트는 두 가지 버전의 기능을 테스트하고 사용자 피드백을 수집하는 강력한 방법입니다 [4]. 분석을 통합하려면 효과적인 데이터 수집 관행이 필요합니다 [4]. 사용자 친화적이고 사용자 세분화, 데이터 시각화 및 개인 정보 보호 규정 준수에 대한 강력한 기능이있는 분석 플랫폼을 선택하십시오 [4].
인용 :
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-sprategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-efficative-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1