Deepseek-R1 aborda problemas de mezcla de idiomas a través de un proceso de capacitación en varias etapas que combina el aprendizaje de refuerzo (RL) con ajuste superior (SFT) supervisado. Inicialmente, el modelo comienza con una versión base (Deepseek-V3-Base) que está ajustado utilizando un pequeño conjunto de datos de "arranque en frío", que ayuda a establecer una base estructurada para comprender diversos idiomas y contextos [1] [2 ]
Luego, el modelo emplea técnicas RL puras para mejorar sus capacidades de razonamiento. Sin embargo, durante la capacitación, se observó que la mezcla de idiomas podría ocurrir, particularmente al manejar consultas en idiomas distintos de inglés o chino. Por ejemplo, Deepseek-R1 podría predeterminar el inglés para el razonamiento y las respuestas, incluso si la entrada está en otro idioma [5] [6]. Para mitigar esto, el modelo utiliza un muestreo de rechazo para generar datos de entrenamiento sintético a partir de ejecuciones RL exitosas, que luego se fusiona con datos supervisados de alta calidad de varios dominios. Este proceso ayuda a mejorar la adaptabilidad del modelo a diferentes idiomas y reduce la probabilidad de mezclar los idiomas en las respuestas [1] [4].
Además, la investigación en curso tiene como objetivo optimizar Deepseek-R1 para un mejor rendimiento en una gama más amplia de idiomas al tiempo que aborda sus limitaciones actuales en el manejo de entradas de lenguaje mixto de manera efectiva. Se espera que las actualizaciones futuras refinen sus capacidades en esta área, mejorando su capacidad de respuesta y precisión al interactuar con los usuarios en diversos contextos lingüísticos [2] [5].
Citas:
[1] https://www.vellum.ai/blog/the-training-ofdeepseek-r1-and-ways-to-use-it
[2] https://adasci.org/mastering-llms-razoning-capability-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfetai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1