DeepSeek-R1通过将强化学习（RL）与监督微调（SFT）结合在一起的多阶段培训过程来解决语言混合问题。最初，该模型以基本版本（DeepSeek-v3 base）开头，该基础版本使用一小部分“冷启动”数据进行了微调，该数据有助于建立结构化的基础，以理解各种语言和上下文[1] [2] [2] ]。
然后，该模型采用纯RL技术来增强其推理能力。但是，在培训期间，可以观察到可能会发生语言混合，尤其是在处理英语或中文以外的其他语言的查询时。例如，即使输入用另一种语言[5] [6]，DeepSeek-r1可能默认为推理和响应。为了减轻这种情况，该模型利用拒绝抽样从成功的RL运行中生成合成训练数据，然后将其与来自各个域的高质量监督数据合并。此过程有助于改善模型对不同语言的适应性，并减少响应中混合语言的可能性[1] [4]。
此外，正在进行的研究旨在优化DeepSeek-R1，以在更广泛的语言中更好地表现性能，同时在有效地处理混合语言输入方面的当前限制。预计未来的更新将在该领域提高其功能，从而在与用户在多种语言环境中互动时提高其响应能力和准确性[2] [5]。
引用：
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-r1-and-ways-to-use-it
[2] https://adasci.org/mastering-llms-rounconing-capibility-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_do_i_finetune_deepseek_r1 _r1_oon_a_a_new_language/
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1