การทดสอบ A/B เป็นองค์ประกอบที่สำคัญของกลยุทธ์การใช้ชีวิตของ Scopely ซึ่งช่วยให้สามารถตัดสินใจด้วยข้อมูลที่ขับเคลื่อนด้วยข้อมูลและการปรับปรุงประสบการณ์ผู้เล่นอย่างต่อเนื่อง [2] [7] LiveOps ใช้ข้อมูลมากดังนั้นการทดสอบจึงเป็นสิ่งสำคัญที่จะหลีกเลี่ยงข้อผิดพลาดในเกม [1]
การทดสอบ A/B คืออะไร
การทดสอบ A/B หรือที่เรียกว่าการทดสอบแบบแยกเป็นวิธีการเปรียบเทียบเว็บเพจหรือแอพสองเวอร์ชันสองเวอร์ชันเพื่อพิจารณาว่าหนึ่งทำงานได้ดีกว่า [2] [6] ในการทดสอบ A/B ผู้ใช้ที่แตกต่างกันจะได้รับผลิตภัณฑ์ที่แตกต่างกันเล็กน้อย (เกม) และการวัดจะถูกนำมาใช้เพื่อดูว่าตัวเลือกใดทำงานได้ดีกว่า [1] [2] ตัวเลือกที่ชนะจะถูกนำออกไปยังผู้ชมที่กว้างขึ้น [1] การทดสอบ A/B ช่วยในการเปลี่ยนแปลงประสบการณ์ผู้ใช้อย่างระมัดระวังในขณะที่รวบรวมข้อมูลเกี่ยวกับผลกระทบของการเปลี่ยนแปลงเหล่านั้น [2] ช่วยในการสร้างสมมติฐานและเรียนรู้ว่าองค์ประกอบและการเพิ่มประสิทธิภาพของประสบการณ์ใดที่ส่งผลกระทบต่อพฤติกรรมของผู้ใช้มากที่สุด [2]
แผนการทดสอบ A/B:
ก่อนที่จะดำเนินการทดสอบ A/B การสร้างแผนเป็นสิ่งสำคัญ ขั้นตอนในแผนรวมถึง [1]:
1. แนวคิดทดลอง
2. การสร้างตัวเลือก (สิ่งที่จะเปลี่ยนไปสำหรับกลุ่มต่าง ๆ )
3. ตัวเลือกตัวชี้วัด
4. การเตรียมตัวอย่าง
5. การทดสอบเบื้องต้น
6. การทดลอง
7. การตีความผลลัพธ์
ตัวอย่างของแนวคิดการทดสอบ A/B:
* ออกแบบการทดสอบการออกแบบที่แตกต่างกันเช่นปุ่มเดียวเมื่อเทียบกับปุ่มสองปุ่มและข้อความในแต่ละปุ่ม [1]
* เรียกร้องให้ดำเนินการทดสอบการเรียกร้องให้ดำเนินการที่แตกต่างกัน [1]
* ราคาและโปรโมชั่นทดสอบราคาและโปรโมชั่น [1]
* การทดสอบโฆษณาโฆษณาที่แตกต่างกัน [1]
* การแจ้งเตือนแบบพุชและการทดสอบเวลาการแจ้งเตือนแบบพุชและเวลาของพวกเขา [1]
การทดสอบแย่ลง:
แทนที่จะเป็นการทดสอบ A/B แบบคลาสสิก "การทดสอบที่เสื่อมสภาพ" อาจมีประสิทธิภาพมากขึ้นสำหรับเหตุการณ์ liveops [1] ในการทดสอบที่ทวีความรุนแรงขึ้นผู้ใช้กลุ่มหนึ่งได้รับตัวเลือกที่ด้อยกว่า [1] ตัวอย่างเช่นหากคุณต้องการเพิ่มระดับให้กับเกมมากขึ้น แต่ไม่แน่ใจในผลลัพธ์สำหรับผู้เล่นใหม่กลุ่มหนึ่งคุณสามารถลดจำนวนระดับและสำหรับกลุ่มที่สองให้ออกจากทุกระดับ [1] หากผู้เล่นที่จบทุกระดับแสดงผลลัพธ์ที่ดีกว่านั้นจำเป็นต้องเพิ่มระดับมากขึ้น [1]
Ad
การสร้างตัวเลือก:
การทดสอบ A/B สามารถมีมากกว่าสองตัวเลือกเนื่องจากมีการทดสอบหลายตัวแปร [1] ตัวอย่างเช่นคุณสามารถทำการทดสอบราคาและทดสอบข้อความพร้อมกัน (การทดสอบหลายตัวแปร) [1]
ตัวอย่างการเตรียม:
สิ่งที่สำคัญที่สุดเมื่อทำการทดสอบ A/B คือการใช้กลุ่มคนที่ไม่เคยพบฟังก์ชั่นการเปลี่ยนแปลง [1] ดังนั้นการทดสอบมักจะทำงานบนบทช่วยสอนหรือในแบบฟอร์มการดาวน์โหลดนั่นคือสำหรับคนที่ติดตั้งเกม/แอปพลิเคชันเป็นครั้งแรก [1] นอกจากนี้การเลือกจะต้องสุ่ม มันเป็นความผิดปกติที่จะส่งผู้ใช้ที่มาในวันพุธเป็นกลุ่มหนึ่งและผู้ใช้ที่เข้ามาในวันพฤหัสบดีเป็นอีก [1] วิธีที่ถูกต้องคือการรวมทั้งสองอย่างเข้าด้วยกันในส่วนเดียวและสุ่มกระจายออกเป็นสองกลุ่ม [1]
ข้อผิดพลาดทั่วไปในการทดสอบ A/B:
* สมมติฐานที่ผิดและการทดสอบการเปลี่ยนแปลงที่ยากต่อการติดตาม [1]
* การตีความที่ดีของผลการทดลอง [1]
* อาศัยสัญชาตญาณ [1]
* ไม่ได้พิจารณาผู้ชม (ใหม่/ไม่ใหม่แหล่งที่มาการจราจรการจ่าย/ไม่จ่าย) [1]
* ผู้ใช้น้อยเกินไป [1]
* รันการทดสอบหลายครั้งในเวลาเดียวกัน [1]
* ขาดการทดสอบก่อนหน้า [1]
* ตัวเลือกที่ผิดของตัวชี้วัด [1]
* ขนาดตัวอย่างผิด (เล็กเกินไปหรือใหญ่เกินไป) [1]
การรวมแอปวิเคราะห์:
การรวมการวิเคราะห์แอพเข้ากับ LiveOps ช่วยให้คุณสามารถรวบรวมข้อมูลที่มีค่าเกี่ยวกับพฤติกรรมการตั้งค่าและความสนใจของผู้ใช้ [4] การทดสอบ A/B เป็นวิธีที่มีประสิทธิภาพในการทดสอบคุณสมบัติสองเวอร์ชันและรวบรวมความคิดเห็นของผู้ใช้ [4] ในการรวมการวิเคราะห์คุณต้องใช้วิธีปฏิบัติในการรวบรวมข้อมูลที่มีประสิทธิภาพ [4] เลือกแพลตฟอร์มการวิเคราะห์ที่ใช้งานง่ายและมีความสามารถที่แข็งแกร่งสำหรับการแบ่งส่วนผู้ใช้การสร้างภาพข้อมูลและการปฏิบัติตามความเป็นส่วนตัว [4]
การอ้างอิง:
[1] https://www.devtodev.com/resources/articles/a-b-b-testing-in-liveops
[2] https://www.optimizely.com/optimization-lothossary/ab-testing/
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effective-live-ops
[8] https://www.gamedeveloper.com/business/a-b-b-tests-for-analysing-liveops-part-1
