DeepSeek-R1 rozwiązuje problemy z miksowaniem języków poprzez wieloetapowy proces treningowy, który łączy uczenie się wzmocnienia (RL) z nadzorowanym dostrajaniem (SFT). Początkowo model rozpoczyna się od wersji podstawowej (Deepseek-V3-baza), która jest dopracowana przy użyciu niewielkiego zestawu danych „zimnego startowego”, który pomaga ustanowić ustrukturyzowane podstawy do zrozumienia różnorodnych języków i kontekstów [1] [2 [2 ].
Model wykorzystuje następnie czyste techniki RL w celu zwiększenia możliwości rozumowania. Jednak podczas szkolenia zaobserwowano, że może nastąpić mieszanie języka, szczególnie podczas obsługi zapytania w językach innych niż angielski lub chiński. Na przykład DeepSeek-R1 może domyślnie domyślnie angielski w przypadku rozumowania i odpowiedzi, nawet jeśli dane wejściowe jest w innym języku [5] [6]. Aby to złagodzić, model wykorzystuje pobieranie próbek odrzucania do generowania syntetycznych danych treningowych z udanych przebiegów RL, które są następnie łączone z wysokiej jakości nadzorowanymi danymi z różnych domen. Ten proces pomaga poprawić adaptację modelu do różnych języków i zmniejsza prawdopodobieństwo mieszania języków w odpowiedzi [1] [4].
Ponadto trwające badania mają na celu optymalizację DeepSeek-R1 w celu uzyskania lepszej wydajności w szerszym zakresie języków, jednocześnie zajmując się jego obecnymi ograniczeniami w skutecznym postępowaniu z mieszanym językiem. Oczekuje się, że przyszłe aktualizacje udoskonalą swoje możliwości w tym obszarze, zwiększając jego reakcję i dokładność podczas interakcji z użytkownikami w różnych kontekstach językowych [2] [5].
Cytaty:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it
[2] https://adasci.org/mastering-llms-reasoning-capability-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_fineTune_Deepseek_R1_ON_A_New_Language/
[4] https://unfololdai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1