DeepSeek-R1 abordează problemele de amestecare a limbii printr-un proces de formare în mai multe etape care combină învățarea de consolidare (RL) cu reglarea fină supravegheată (SFT). Inițial, modelul începe cu o versiune de bază (Deepseek-V3-Base), care este reglat fin folosind un set mic de date „la început la rece”, care ajută la stabilirea unei fundații structurate pentru înțelegerea limbilor și contexte diverse [1] [2 ].
Modelul folosește apoi tehnici Pure RL pentru a -și îmbunătăți capacitățile de raționament. Cu toate acestea, în timpul antrenamentului, s -a observat că ar putea apărea amestecarea limbii, în special atunci când gestionarea întrebărilor în alte limbi decât engleza sau chineza. De exemplu, DeepSeek-R1 ar putea fi implicit în limba engleză pentru raționament și răspunsuri, chiar dacă intrarea este într-o altă limbă [5] [6]. Pentru a atenua acest lucru, modelul utilizează eșantionarea de respingere pentru a genera date de formare sintetică din rulările RL de succes, care este apoi contopită cu date supravegheate de înaltă calitate din diverse domenii. Acest proces ajută la îmbunătățirea adaptabilității modelului la diferite limbi și reduce probabilitatea de a amesteca limbi în răspunsuri [1] [4].
Mai mult, cercetările în curs de desfășurare își propune să optimizeze DeepSeek-R1 pentru o performanță mai bună într-o gamă mai largă de limbi, abordând în același timp limitările sale actuale în gestionarea în mod eficient a intrărilor în limbi mixte. Se preconizează că actualizările viitoare își vor perfecționa capacitățile în acest domeniu, îmbunătățindu -și receptivitatea și precizia atunci când interacționează cu utilizatorii în contexte lingvistice diverse [2] [5].
Citări:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it-it
]
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1
Cei