DeepSeek-R1 käsittelee kielen sekoitusongelmia monivaiheisen koulutusprosessin kautta, jossa yhdistyvät vahvistusoppiminen (RL) valvottuun hienosäätöön (SFT). Aluksi malli alkaa perusversiolla (Deepseek-V3-base), joka on hienosäädetty käyttämällä pientä sarjaa "kylmäkäynnistys" -tietoja, mikä auttaa luomaan jäsennellyn perustan monipuolisten kielten ja kontekstien ymmärtämiselle [1] [2 ].].
Sitten malli käyttää puhdasta RL -tekniikkaa sen päättelymahdollisuuksien parantamiseksi. Koulutuksen aikana havaittiin kuitenkin, että kielen sekoittamista voi tapahtua, etenkin kun käsitetään kyselyitä muilla kielillä kuin englanniksi tai kiinaksi. Esimerkiksi DeepSeek-R1 saattaa laiminlyödä englannin kielen päättelyä ja vastauksia, vaikka panos olisi toisella kielellä [5] [6]. Tämän lieventämiseksi malli hyödyntää hylkäysnäytteitä synteettisten harjoitustietojen tuottamiseksi onnistuneista RL-ajoista, jotka yhdistetään sitten korkealaatuisiin valvotuihin tietoihin eri alueilta. Tämä prosessi auttaa parantamaan mallin sopeutumista eri kielille ja vähentää kielten sekoittamisen todennäköisyyttä vastauksissa [1] [4].
Lisäksi jatkuvan tutkimuksen tavoitteena on optimoida DeepSeek-R1 paremman suorituskyvyn saavuttamiseksi laajemmalla kielellä samalla kun se käsittelee nykyisiä rajoituksiaan sekoitetun kielen tulojen käsittelyssä tehokkaasti. Tulevien päivitysten odotetaan tarkentavan sen ominaisuuksia tällä alueella, mikä parantaa sen reagointia ja tarkkuutta vuorovaikutuksessa käyttäjien kanssa erilaisissa kielellisissä yhteyksissä [2] [5].
Viittaukset:
.
.
.
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1