A/B testi, Scopely'nin Liveops stratejisinin önemli bir bileşenidir, bu da veri odaklı kararlara ve oyuncu deneyiminin sürekli iyileştirilmesine izin verir [2] [7]. Liveops veri yoğundur, bu nedenle bir oyundaki hataları önlemek için test önemlidir [1].
A/B testi nedir?
Bölünmüş test olarak da bilinen A/B testi, hangisinin daha iyi performans gösterdiğini belirlemek için bir web sayfasının veya uygulamasının iki sürümünü karşılaştırma yöntemidir [2] [6]. A/B testlerinde, farklı kullanıcılara bir ürünün (oyun) biraz farklı versiyonları verilir ve hangi seçeneğin daha iyi performans gösterdiğini görmek için ölçümler alınır [1] [2]. Kazanma seçeneği daha sonra daha geniş bir kitleye sunulur [1]. A/B testi, bu değişikliklerin etkisi hakkında veri toplarken kullanıcı deneyimlerinde dikkatli değişiklikler yapmaya yardımcı olur [2]. Hipotezler oluşturmaya ve deneyimlerin hangi unsurların ve optimizasyonların kullanıcı davranışını en çok etkilediğini öğrenmeye yardımcı olur [2].
A/B test planı:
Bir A/B testi uygulamadan önce bir plan oluşturmak önemlidir. Plandaki adımlar arasında [1]:
1. Deney Fikirleri
2. Seçenek Üretimi (farklı gruplar için tam olarak ne değişecektir)
3. Metrik seçim
4. Örnek hazırlama
5. Ön test
6. Deney
7. Sonuçların yorumlanması
A/B test fikirlerine örnekler:
* İki düğmeye karşı bir düğme gibi farklı tasarımları test eder ve her birindeki metin [1].
* Farklı eylem çağrılarını test eden Eylem Çağrısı [1].
* Fiyatlar ve Promosyonlar Fiyatları ve Promosyonları Test Etme [1].
* Farklı reklamları test eden reklam [1].
* Push bildirimleri ve zamanlama testi itme bildirimleri ve zamanlamaları [1].
Sıkılaştırıcı testler:
Klasik A/B testleri yerine, "kötüleşen testler" Liveops olayları için daha uygun maliyetli olabilir [1]. Kötü bir testte, bir grup kullanıcı kasıtlı olarak daha düşük bir seçenek alır [1]. Örneğin, bir oyuna daha fazla seviye eklemek istiyorsanız, ancak sonuçlardan emin değilseniz, bir grup yeni oyuncu için seviye sayısını azaltabilirsiniz ve ikinci grup için tüm seviyeleri bırakabilirsiniz [1]. Tüm seviyeleri bitiren oyuncular daha iyi sonuçlar gösterirse, daha fazla seviye eklemek gerekir [1].
Seçenek Üretimi:
A/B testleri ikiden fazla seçeneğe sahip olabilir, çünkü çok değişkenli testler de vardır [1]. Örneğin, aynı anda bir fiyat testi ve bir metin testi yapabilirsiniz (çok değişkenli test) [1].
Örnek hazırlama:
Bir A/B testi yaparken en önemli şey, değişen işlevsellikle hiç karşılaşmamış bir grup insanı kullanmaktır [1]. Bu nedenle, testler genellikle bir öğreticide veya indirme formunda, yani oyunu/uygulamayı ilk yükleyen kişilerde çalıştırılır [1]. Ayrıca, toplama rastgele olmalıdır; Çarşamba günü gelen kullanıcıları bir gruba ve Perşembe günü gelen kullanıcıları başka bir gruba göndermek temelde yanlıştır [1]. Doğru yol, her ikisini de bir segmentte birleştirmek ve rastgele iki gruba dağıtmaktır [1].
A/B testinde yaygın hatalar:
* İzlenmesi zor değişikliklerin yanlış hipotezi ve test edilmesi [1].
* Deneysel sonuçların olumlu yorumlanması [1].
* Sezgiye güvenmek [1].
* İzleyiciyi düşünmüyor (yeni/yeni değil, trafik kaynakları, ödeme/ödeme yapmıyor) [1].
* Çok az kullanıcı [1].
* Aynı anda birkaç test çalıştırır [1].
* Önceden test eksikliği [1].
* Yanlış metrik seçimi [1].
* Yanlış örnek boyutu (çok küçük veya çok büyük) [1].
Uygulama Analytics'i entegre etmek:
Uygulama analitiğini LiveOps'a entegre etmek, kullanıcıların davranışı, tercihleri ve ilgi alanları hakkında değerli veriler toplamanıza olanak tanır [4]. A/B testi, bir özelliğin iki versiyonunu test etmenin ve kullanıcı geri bildirimlerini toplamanın güçlü bir yoludur [4]. Analytics'i entegre etmek için etkili veri toplama uygulamalarına ihtiyacınız vardır [4]. Kullanıcı dostu ve kullanıcı segmentasyonu, veri görselleştirme ve gizlilik uyumluluğu için sağlam özelliklere sahip bir analiz platformu seçin [4].
Alıntılar:
[1] https://www.devtoev.com/resources/articles/a-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-glossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting--live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-tests-for-analysing-liveops-part-1