Deepseek R1 ช่วยเพิ่มความสามารถในการใช้เหตุผลผ่านวิธีการเรียนรู้การเสริมแรงใหม่ (RL) ที่แตกต่างจากวิธีการปรับแต่งแบบดั้งเดิม (SFT) แบบดั้งเดิม กลยุทธ์ที่เป็นนวัตกรรมนี้ช่วยให้แบบจำลองสามารถพัฒนาทักษะการใช้เหตุผลได้อย่างอิสระและมีประสิทธิภาพ
กรอบการเรียนรู้การเสริมแรง
Deepseek R1 ใช้การเพิ่มประสิทธิภาพนโยบายสัมพัทธ์ของกลุ่ม (GRPO) ซึ่งเป็นกรอบ RL ตามกฎที่ช่วยให้โมเดลเรียนรู้จากการทดลองและข้อผิดพลาดโดยไม่ต้องพึ่งพาชุดข้อมูลที่ติดฉลากล่วงหน้า วิธีการนี้ช่วยให้แบบจำลองสามารถสำรวจพื้นที่โซลูชันที่กว้างใหญ่ค้นพบรูปแบบการใช้เหตุผลและกลยุทธ์ที่ไม่ซ้ำกันซึ่งอาจไม่มีอยู่ในข้อมูลการฝึกอบรมภายใต้การดูแล [1] [2] [4] ด้วยการกระตุ้นการใช้เหตุผลในระหว่างกระบวนการ RL Deepseek R1 สามารถสร้างโซ่ความคิดที่สอดคล้องกันและมีส่วนร่วมในการตรวจสอบตนเองและการสะท้อนซึ่งมีความสำคัญต่อการแก้ปัญหาที่ซับซ้อน [4]
กระบวนการฝึกอบรมหลายขั้นตอน
การฝึกอบรม Deepseek R1 แบ่งออกเป็นหลายขั้นตอน:
1. เฟสเริ่มต้นเย็น: แบบจำลองเริ่มต้นด้วยข้อมูลที่มีคุณภาพสูงจำนวนเล็กน้อยที่รวบรวมจากรุ่นก่อน R1-Zero Deepseek ขั้นตอนนี้ช่วยลดปัญหาเช่นการอ่านไม่ดีและการผสมภาษาที่สังเกตได้ในรุ่นก่อนหน้า [1] [2]
2. RL ที่เน้นการใช้เหตุผล: หลังจากการเริ่มต้นเย็นแบบจำลองได้รับการฝึกอบรม RL ที่เน้นการใช้เหตุผลอย่างกว้างขวาง เฟสนี้มุ่งเน้นไปที่การเพิ่มขีดความสามารถในโดเมนเฉพาะเช่นการเข้ารหัสคณิตศาสตร์และตรรกะซึ่งสามารถกำหนดโซลูชันที่ชัดเจนโดยใช้กฎรางวัล [3] [4]
3. การปรับแต่งด้วยข้อมูลใหม่: หลังจากการฝึกอบรม RL เริ่มต้นข้อมูลภายใต้การดูแลใหม่จะถูกสร้างขึ้นผ่านการสุ่มตัวอย่างการปฏิเสธตามจุดตรวจ RL ข้อมูลนี้จะใช้สำหรับการปรับแต่งเพิ่มเติมช่วยให้แบบจำลองสามารถปรับแต่งความสามารถในการใช้เหตุผลในงานต่าง ๆ [1] [2]
ผลลัพธ์ประสิทธิภาพ
ผลลัพธ์ของกระบวนการฝึกอบรมที่เข้มงวดนี้เป็นแบบจำลองที่บรรลุระดับประสิทธิภาพเทียบเท่ากับโมเดลชั้นนำเช่น OpenAI ของ Openai ในงานการใช้เหตุผล ตัวอย่างเช่น Deepseek R1 แสดงให้เห็นถึงการปรับปรุงอย่างมีนัยสำคัญในการเปรียบเทียบโดยมีอัตราการผ่านเพิ่มขึ้นจาก 15.6% เป็น 71% สำหรับงาน AIME 2024 ซึ่งแสดงความสามารถในการใช้เหตุผลที่เพิ่มขึ้น [1] [2]
โดยสรุปวิธีการเรียนรู้การเสริมแรงของ Deepseek R1 ไม่เพียง แต่ส่งเสริมการใช้เหตุผลอิสระเท่านั้น แต่ยังช่วยเพิ่มประสิทธิภาพในการแก้ปัญหาโดยลดการพึ่งพาชุดข้อมูลภายใต้การดูแลที่กว้างขวาง นี่เป็นเครื่องมือที่ทรงพลังในภูมิทัศน์ของแบบจำลองภาษาขนาดใหญ่
การอ้างอิง:[1] https://arxiv.org/html/2501.12948v1
[2] https://myedgetech.com/deepseek-r1-tr/
[3] https://www.youtube.com/watch?v=DCQQCLLSIBU
[4] https://arbisoft.com/blogs/deep-seek-r1-the-chinese-ai-powerhouse-merferforming-open-ai-s-o1-at-95-less-cost
[5] https://github.com/deepseek-ai/deepseek-r1/actions
[6] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[7] https://arxiv.org/abs/2501.12948
[8] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it