DeepSeek-R1 จัดการปัญหาการผสมภาษาผ่านกระบวนการฝึกอบรมหลายขั้นตอนที่รวมการเรียนรู้การเสริมแรง (RL) เข้ากับการปรับแต่งแบบควบคุม (SFT) ในขั้นต้นโมเดลเริ่มต้นด้วยเวอร์ชันพื้นฐาน (DeepSeek-V3-Base) ที่ปรับแต่งโดยใช้ข้อมูล "เริ่มต้นด้วยความเย็น" ซึ่งช่วยสร้างรากฐานที่มีโครงสร้างสำหรับการทำความเข้าใจภาษาและบริบทที่หลากหลาย [1] [2] [2 ].
แบบจำลองนี้ใช้เทคนิค RL บริสุทธิ์เพื่อเพิ่มขีดความสามารถในการใช้เหตุผล อย่างไรก็ตามในระหว่างการฝึกอบรมพบว่าการผสมภาษาอาจเกิดขึ้นได้โดยเฉพาะอย่างยิ่งเมื่อจัดการการสืบค้นในภาษาอื่นที่ไม่ใช่ภาษาอังกฤษหรือภาษาจีน ตัวอย่างเช่น Deepseek-R1 อาจเริ่มต้นเป็นภาษาอังกฤษเพื่อการใช้เหตุผลและการตอบกลับแม้ว่าอินพุตจะอยู่ในภาษาอื่น [5] [6] เพื่อลดสิ่งนี้โมเดลใช้การสุ่มตัวอย่างการปฏิเสธเพื่อสร้างข้อมูลการฝึกอบรมสังเคราะห์จาก RL ที่ประสบความสำเร็จซึ่งจะถูกรวมเข้ากับข้อมูลที่มีคุณภาพสูงจากโดเมนต่างๆ กระบวนการนี้ช่วยปรับปรุงความสามารถในการปรับตัวของโมเดลให้เป็นภาษาต่าง ๆ และลดโอกาสในการผสมภาษาในการตอบสนอง [1] [4]
นอกจากนี้การวิจัยอย่างต่อเนื่องมีวัตถุประสงค์เพื่อเพิ่มประสิทธิภาพ Deepseek-R1 เพื่อประสิทธิภาพที่ดีขึ้นในช่วงที่กว้างขึ้นของภาษาในขณะที่จัดการกับข้อ จำกัด ในปัจจุบันในการจัดการอินพุตภาษาผสมอย่างมีประสิทธิภาพ การอัปเดตในอนาคตคาดว่าจะปรับแต่งความสามารถในพื้นที่นี้เพิ่มการตอบสนองและความแม่นยำเมื่อมีปฏิสัมพันธ์กับผู้ใช้ในบริบททางภาษาที่หลากหลาย [2] [5]
การอ้างอิง:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it
[2] https://adasci.org/mastering-llms-reasoning-capability-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1