A/B-testaus on olennainen osa Scopelyn liveOPS-strategiaa, mikä mahdollistaa tietopohjaisten päätösten ja pelaajan kokemuksen jatkuvan parantamisen [2] [7]. LiveOPS on tietointensiivistä, joten testaus on tärkeää pelin virheiden välttämiseksi [1].
Mikä on A/B -testaus?
A/B -testaus, joka tunnetaan myös nimellä Split Testing, on menetelmä verrata verkkosivua tai sovellusta kahta versiota sen määrittämiseksi, kumpi toimii paremmin [2] [6]. A/B -testeissä eri käyttäjille annetaan satunnaisesti hiukan erilaisia versioita tuotteesta (peli), ja mittaukset tehdään nähdäksesi mikä vaihtoehto toimii paremmin [1] [2]. Voittajavaihtoehto viedään sitten laajemmalle yleisölle [1]. A/B -testaus auttaa tekemään huolellisia muutoksia käyttäjäkokemuksiin keräämällä tietoja näiden muutosten vaikutuksista [2]. Se auttaa rakentamaan hypoteeseja ja oppimaan, mitkä kokemusten elementit ja optimoinnit vaikuttavat käyttäjän käyttäytymiseen eniten [2].
A/B -testaussuunnitelma:
Ennen A/B -testin toteuttamista suunnitelman luominen on tärkeää. Suunnitelman vaiheet sisältävät [1]:
1. Koeideoita
2. vaihtoehdon sukupolvi (mikä tarkalleen muuttuu eri ryhmille)
3. Metrinen valinta
4. näytteen valmistelu
5. Alustava testaus
6. Koe
7. Tulosten tulkinta
Esimerkkejä A/B -testausideoista:
* Suunnittelu testata erilaisia malleja, kuten yksi painike verrattuna kahteen painikkeeseen ja jokaisessa niistä on teksti [1].
* KÄYTTÖ VALMISTUS TESTAA ERIVALLA toimintakehotuksia [1].
* Hinnat ja tarjoukset testaushinnat ja tarjoukset [1].
* Mainonnan testaaminen eri mainokset [1].
* Työnnä ilmoitukset ja ajoitustestaustestausilmoitukset ja niiden ajoitus [1].
Heikkenevät testit:
Klassisten A/B-testien sijasta "heikentyvät testit" voivat olla kustannustehokkaampia liveOPS-tapahtumiin [1]. Heikentyvässä testissä yksi käyttäjäryhmä on tarkoituksella alemman vaihtoehdon [1]. Esimerkiksi, jos haluat lisätä peliin enemmän tasoja, mutta et ole varma tuloksista, yhdelle uusien pelaajien ryhmälle, voit vähentää tasoja ja jättää toiselle ryhmälle kaikki tasot [1]. Jos kaikki tasot päättäneet pelaajat osoittavat parempia tuloksia, tarvitaan lisää tasoja [1].
Vaihtoehdon sukupolvi:
A/B -testeissä voi olla enemmän kuin kaksi vaihtoehtoa, koska on myös monimuuttujakokeita [1]. Voit esimerkiksi suorittaa hintatestin ja tekstitestin samanaikaisesti (monimuuttujakokeet) [1].
Näytteen valmistelu:
Tärkein asia A/B -testin suorittamisessa on käyttää ihmisryhmää, joka ei ole koskaan tavannut muuttuneita toimintoja [1]. Siksi testit suoritetaan usein opetusohjelmassa tai latauslomakkeessa, ts. Niille ihmisille, jotka ensin asentavat pelin/sovelluksen [1]. Myös poiminnan on oltava satunnaista; On pohjimmiltaan väärin lähettää käyttäjiä, jotka tulivat keskiviikkona yhteen ryhmään ja käyttäjiin, jotka tulivat torstaina toiseen [1]. Oikea tapa on yhdistää molemmat yhdessä segmentissä ja jakaa ne satunnaisesti kahteen ryhmään [1].
Yleiset virheet A/B -testauksessa:
* Väärä hypoteesi ja muutosten testaaminen, joita on vaikea jäljittää [1].
* Kokeellisten tulosten suotuisa tulkinta [1].
* Luottaen intuitioon [1].
* Ei harkitse yleisöä (uutta/ei uusia, liikennerähteitä, maksaa/maksaa) [1].
* Liian vähän käyttäjiä [1].
* Suorittaa useita testejä samanaikaisesti [1].
* Aikaisemman testauksen puute [1].
* Väärä mittareiden valinta [1].
* Väärä näytteen koko (liian pieni tai liian suuri) [1].
Sovellusanalytiikan integrointi:
Sovellusanalytiikan integrointi liveOPS: ään antaa sinun kerätä arvokasta tietoa käyttäjien käyttäytymisestä, mieltymyksistä ja kiinnostuksista [4]. A/B -testaus on tehokas tapa testata ominaisuuden kaksi versiota ja kerätä käyttäjän palautetta [4]. Analytiikan integroimiseksi tarvitset tehokkaita tiedonkeruukäytäntöjä [4]. Valitse Analytics-alusta, joka on käyttäjäystävällinen ja jolla on vankat ominaisuudet käyttäjän segmentointiin, tietojen visualisointiin ja yksityisyyden noudattamiseen [4].
Viittaukset:
[1] https://www.devtodev.com/resources/articles/a-b-testing-in-liveops
.
[3] https://www.adlibertas.com/guest-post-starting-a-live-ops-strategy/
[4] https://www.appsflyer.com/blog/measurement-analytics/liveops-changing-gaming-landscape/
[5] https://wnhub.io/news/marketing/item-42838
[6] https://vwo.com/ab-testing/
[7] https://www.tag-games.com/blog/5-tips-for-effctive-live-ops
.