Deepseek-R1, takviye öğrenimini (RL) denetimli ince ayar (SFT) ile birleştiren çok aşamalı bir eğitim süreciyle dil karıştırma sorunlarını ele alır. Başlangıçta, model, çeşitli dilleri ve bağlamları anlamak için yapılandırılmış bir temel oluşturmaya yardımcı olan küçük bir "soğuk start" veri kümesi kullanılarak ince ayarlanmış bir temel sürüm (Deepseek-V3-baz) ile başlar [1] [2 ].
Model daha sonra akıl yürütme yeteneklerini artırmak için saf RL teknikleri kullanır. Bununla birlikte, eğitim sırasında, özellikle İngilizce veya Çince dışındaki dillerdeki sorguları ele alırken dil karıştırmanın meydana gelebileceği gözlenmiştir. Örneğin, Deepseek-R1, girdi başka bir dilde olsa bile akıl yürütme ve yanıtlar için İngilizce olarak temerrüde düşebilir [5] [6]. Bunu azaltmak için model, başarılı RL çalışmalarından sentetik eğitim verileri oluşturmak için ret örneklemesini kullanır, bu da daha sonra çeşitli alanlardan yüksek kaliteli denetimli verilerle birleştirilir. Bu süreç, modelin farklı dillere uyarlanabilirliğini artırmaya yardımcı olur ve yanıtlarda dillerin karıştırılma olasılığını azaltır [1] [4].
Ayrıca, devam eden araştırmalar, karışık dil girdilerini etkili bir şekilde ele almadaki mevcut sınırlamalarını ele alırken, Deepseek-R1'i daha geniş bir dil yelpazesinde daha iyi performans için optimize etmeyi amaçlamaktadır. Gelecekteki güncellemelerin bu alandaki yeteneklerini geliştirmesi ve çeşitli dilsel bağlamlarda kullanıcılarla etkileşime girerken yanıt verebilirliğini ve doğruluğunu artırması beklenmektedir [2] [5].
Alıntılar:
[1] https://www.vellum.ai/blog/the-fainta-feepseek-r1-and-to-to-use-it
[2] https://adasci.org/Mastering-llms-reasoning-capapity-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1