DeepSeek-R1 affronta i problemi di miscelazione delle lingue attraverso un processo di formazione a più stadi che combina l'apprendimento di rinforzo (RL) con la messa a punto supervisionata (SFT). Inizialmente, il modello inizia con una versione base (DeepSeek-V3-Base) che viene messa a punto usando un piccolo set di dati "start a freddo", che aiuta a stabilire una base strutturata per comprendere diverse lingue e contesti [1] [2] [2 ].
Il modello impiega quindi tecniche RL pure per migliorare le sue capacità di ragionamento. Tuttavia, durante la formazione, è stato osservato che poteva verificarsi un miscelazione linguistica, in particolare quando si gestiscono le domande in lingue diverse dall'inglese o dal cinese. Ad esempio, DeepSeek-R1 potrebbe essere inadempiente all'inglese per ragionamento e risposte anche se l'input è in un'altra lingua [5] [6]. Per mitigare questo, il modello utilizza il campionamento di rifiuto per generare dati di addestramento sintetico da esecuzioni di RL di successo, che vengono quindi unite con dati supervisionati di alta qualità da vari settori. Questo processo aiuta a migliorare l'adattabilità del modello a diverse lingue e riduce la probabilità di miscelare i linguaggi nelle risposte [1] [4].
Inoltre, la ricerca in corso mira a ottimizzare DeepSeek-R1 per prestazioni migliori in una gamma più ampia di lingue, affrontando le sue attuali limitazioni nella gestione efficace degli input di lingua mista. Gli aggiornamenti futuri dovrebbero perfezionare le sue capacità in questo settore, migliorando la propria reattività e accuratezza quando interagiscono con gli utenti in diversi contesti linguistici [2] [5].
Citazioni:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-res-ways-to-use-it
[2] https://adasci.org/mastering-llms-aasoning-capability-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfidai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1