Kiểm tra A/B là một thành phần thiết yếu của chiến lược LiveOps của Scopely, cho phép các quyết định dựa trên dữ liệu và cải tiến liên tục trải nghiệm người chơi [2] [7]. LiveOps tốn nhiều dữ liệu, vì vậy thử nghiệm rất quan trọng để tránh những sai lầm trong trò chơi [1].
Kiểm tra A/B là gì?
Thử nghiệm A/B, còn được gọi là thử nghiệm phân chia, là một phương pháp so sánh hai phiên bản của một trang web hoặc ứng dụng để xác định cái nào hoạt động tốt hơn [2] [6]. Trong các thử nghiệm A/B, người dùng khác nhau được cung cấp ngẫu nhiên các phiên bản hơi khác nhau của sản phẩm (trò chơi) và các phép đo được thực hiện để xem tùy chọn nào hoạt động tốt hơn [1] [2]. Tùy chọn chiến thắng sau đó được tung ra cho đối tượng rộng hơn [1]. Kiểm tra A/B giúp thực hiện các thay đổi cẩn thận đối với trải nghiệm người dùng trong khi thu thập dữ liệu về tác động của những thay đổi đó [2]. Nó giúp xây dựng các giả thuyết và tìm hiểu những yếu tố và tối ưu hóa của trải nghiệm tác động đến hành vi của người dùng nhiều nhất [2].
Kế hoạch kiểm tra A/B:
Trước khi thực hiện thử nghiệm A/B, việc tạo ra một kế hoạch là quan trọng. Các bước trong kế hoạch bao gồm [1]:
1. Ý tưởng thử nghiệm
2. Tạo tùy chọn (Chính xác thì điều gì sẽ thay đổi cho các nhóm khác nhau)
3. Lựa chọn số liệu
4. Chuẩn bị mẫu
5. Thử nghiệm sơ bộ
6. Thí nghiệm
7. Giải thích kết quả
Ví dụ về ý tưởng thử nghiệm A/B:
* Thiết kế kiểm tra các thiết kế khác nhau, chẳng hạn như một nút so với hai nút và văn bản trên mỗi nút [1].
* Gọi hành động Kiểm tra các cuộc gọi khác nhau để hành động [1].
* Giá cả và khuyến mãi Thử nghiệm Giá cả và Khuyến mãi [1].
* Kiểm tra quảng cáo quảng cáo khác nhau [1].
* Thông báo đẩy và thông báo đẩy thời gian và thời gian của chúng [1].
Bài kiểm tra xuống cấp:
Thay vì các bài kiểm tra A/B cổ điển, "các bài kiểm tra xuống cấp" có thể hiệu quả hơn về chi phí cho các sự kiện LiveOps [1]. Trong một bài kiểm tra xuống cấp, một nhóm người dùng cố tình có một tùy chọn kém hơn [1]. Ví dụ: nếu bạn muốn thêm nhiều cấp độ vào trò chơi nhưng không chắc chắn về kết quả, đối với một nhóm người chơi mới, bạn có thể giảm số cấp độ và cho nhóm thứ hai, để lại tất cả các cấp độ [1]. Nếu những người chơi hoàn thành tất cả các cấp độ cho thấy kết quả tốt hơn, thì việc thêm nhiều cấp độ là cần thiết [1].
Tạo tùy chọn:
Các thử nghiệm A/B có thể có nhiều hơn hai tùy chọn vì cũng có thử nghiệm đa biến [1]. Ví dụ: bạn có thể chạy thử nghiệm giá và kiểm tra văn bản đồng thời (thử nghiệm đa biến) [1].
Chuẩn bị mẫu:
Điều quan trọng nhất khi chạy thử nghiệm A/B là sử dụng một nhóm người chưa bao giờ gặp phải chức năng thay đổi [1]. Do đó, các bài kiểm tra thường được chạy trên một hướng dẫn hoặc trên biểu mẫu tải xuống, nghĩa là trên những người đầu tiên cài đặt trò chơi/ứng dụng [1]. Ngoài ra, việc chọn phải là ngẫu nhiên; Về cơ bản, việc gửi người dùng đã đến vào thứ Tư vào một nhóm và người dùng đã đến vào thứ năm vào một người khác [1]. Cách đúng là kết hợp cả hai trong một phân đoạn và phân phối ngẫu nhiên chúng thành hai nhóm [1].
Lỗi phổ biến trong thử nghiệm A/B:
* Giả thuyết sai và kiểm tra các thay đổi khó theo dõi [1].
* Giải thích thuận lợi về kết quả thử nghiệm [1].
* Dựa vào trực giác [1].
* Không xem xét đối tượng (mới/không mới, nguồn giao thông, thanh toán/không thanh toán) [1].
* Quá ít người dùng [1].
* Chạy một số bài kiểm tra cùng một lúc [1].
* Thiếu thử nghiệm trước [1].
* Lựa chọn sai số liệu [1].
* Cỡ mẫu sai (quá nhỏ hoặc quá lớn) [1].
Tích hợp phân tích ứng dụng:
Việc tích hợp các phân tích ứng dụng vào LiveOps cho phép bạn thu thập dữ liệu có giá trị về hành vi, sở thích và sở thích của người dùng [4]. Kiểm tra A/B là một cách mạnh mẽ để kiểm tra hai phiên bản của tính năng và thu thập phản hồi của người dùng [4]. Để tích hợp phân tích, bạn cần thực hành thu thập dữ liệu hiệu quả [4]. Chọn một nền tảng phân tích thân thiện với người dùng và có khả năng mạnh mẽ để phân đoạn người dùng, trực quan hóa dữ liệu và tuân thủ quyền riêng tư [4].
Trích dẫn:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
.
.
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1