Pengujian A/B adalah komponen penting dari strategi LIVEOPS Scopely, memungkinkan untuk keputusan berbasis data dan peningkatan berkelanjutan dari pengalaman pemain [2] [7]. LiveOps intensif data, jadi pengujian penting untuk menghindari kesalahan dalam permainan [1].
Apa itu pengujian A/B?
Pengujian A/B, juga dikenal sebagai pengujian split, adalah metode membandingkan dua versi halaman web atau aplikasi untuk menentukan mana yang berkinerja lebih baik [2] [6]. Dalam tes A/B, pengguna yang berbeda secara acak diberikan versi produk (game) yang sedikit berbeda, dan pengukuran dilakukan untuk melihat opsi mana yang berkinerja lebih baik [1] [2]. Opsi yang menang kemudian diluncurkan ke khalayak yang lebih luas [1]. Pengujian A/B membantu membuat perubahan yang cermat pada pengalaman pengguna saat mengumpulkan data tentang dampak perubahan tersebut [2]. Ini membantu untuk membangun hipotesis dan mempelajari elemen dan optimasi pengalaman apa yang paling memengaruhi perilaku pengguna [2].
Rencana Pengujian A/B:
Sebelum menerapkan tes A/B, membuat rencana itu penting. Langkah -langkah dalam rencana termasuk [1]:
1. Ide Eksperimen
2. Pembuatan Opsi (Apa yang sebenarnya akan berubah untuk grup yang berbeda)
3. Pilihan Metrik
4. Persiapan sampel
5. Pengujian Pendahuluan
6. Eksperimen
7. Interpretasi hasil
Contoh Ide Pengujian A/B:
* Desain Menguji desain yang berbeda, seperti satu tombol versus dua tombol, dan teks pada masing -masing [1].
* Panggilan untuk bertindak menguji berbagai panggilan untuk bertindak [1].
* Harga dan Promosi Pengujian Harga dan Promosi [1].
* Menguji iklan iklan yang berbeda [1].
* PEMBERITAHUAN Dorong dan Pengujian Waktu Pemberitahuan Dorong dan Waktu mereka [1].
Tes yang memburuk:
Alih-alih tes A/B klasik, "tes yang memburuk" dapat lebih hemat biaya untuk acara liveOps [1]. Dalam tes yang memburuk, satu kelompok pengguna sengaja mendapatkan opsi yang lebih rendah [1]. Misalnya, jika Anda ingin menambahkan lebih banyak level ke permainan tetapi tidak yakin dengan hasilnya, untuk satu kelompok pemain baru, Anda dapat mengurangi jumlah level, dan untuk grup kedua, tinggalkan semua level [1]. Jika pemain yang menyelesaikan semua level menunjukkan hasil yang lebih baik, maka menambahkan lebih banyak level diperlukan [1].
Pembuatan Opsi:
Tes A/B dapat memiliki lebih dari dua opsi karena ada juga pengujian multivariat [1]. Misalnya, Anda dapat menjalankan tes harga dan tes teks secara bersamaan (pengujian multivariat) [1].
Persiapan Sampel:
Hal terpenting saat menjalankan tes A/B adalah menggunakan sekelompok orang yang tidak pernah menemukan fungsionalitas yang diubah [1]. Oleh karena itu, tes sering dijalankan pada tutorial atau pada formulir unduhan, yaitu, pada orang -orang yang pertama kali menginstal game/aplikasi [1]. Juga, pengambilan harus acak; Pada dasarnya salah mengirim pengguna yang datang pada hari Rabu menjadi satu kelompok dan pengguna yang datang pada hari Kamis ke yang lain [1]. Cara yang benar adalah menggabungkan keduanya dalam satu segmen dan mendistribusikannya secara acak ke dalam dua kelompok [1].
Kesalahan umum dalam pengujian A/B:
* Hipotesis yang salah dan pengujian perubahan yang sulit dilacak [1].
* Interpretasi yang menguntungkan dari hasil eksperimen [1].
* Mengandalkan intuisi [1].
* Tidak mempertimbangkan audiens (baru/bukan baru, sumber lalu lintas, membayar/tidak membayar) [1].
* Terlalu sedikit pengguna [1].
* Menjalankan beberapa tes secara bersamaan [1].
* Kurangnya pengujian sebelumnya [1].
* Pilihan metrik yang salah [1].
* Ukuran sampel yang salah (terlalu kecil atau terlalu besar) [1].
mengintegrasikan analisis aplikasi:
Mengintegrasikan analisis aplikasi ke dalam liveOps memungkinkan Anda untuk mengumpulkan data yang berharga tentang perilaku, preferensi, dan minat pengguna [4]. Pengujian A/B adalah cara yang kuat untuk menguji dua versi fitur dan mengumpulkan umpan balik pengguna [4]. Untuk mengintegrasikan analitik, Anda memerlukan praktik pengumpulan data yang efektif [4]. Pilih platform analitik yang ramah pengguna dan memiliki kemampuan yang kuat untuk segmentasi pengguna, visualisasi data, dan kepatuhan privasi [4].
Kutipan:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1