Deepseek ใช้อัลกอริทึมการเรียนรู้ของเครื่องขั้นสูงที่หลากหลายสำหรับการสร้างสูตรและการใช้เหตุผลทางคณิตศาสตร์โดยเฉพาะอย่างยิ่งในแบบจำลองเช่น Deepseek R1 นี่คือภาพรวมโดยละเอียดของเทคนิคเฉพาะที่ใช้:
1. ความคิดโซ่ (COT) แจ้ง: Deepseek R1 ใช้ประโยชน์จากความคิดที่ยาวนานเพื่อเพิ่มการใช้เหตุผลทางคณิตศาสตร์ สิ่งนี้เกี่ยวข้องกับการจัดโครงสร้างพร้อมท์ในลักษณะที่เป็นแนวทางในแบบจำลองผ่านกระบวนการให้เหตุผลทีละขั้นตอนคล้ายกับวิธีที่มนุษย์แก้ปัญหาที่ซับซ้อน [2] ด้วยการสร้างข้อมูลการฝึกอบรมสังเคราะห์ตามพรอมต์ COT เหล่านี้ Deepseek R1 สามารถปรับปรุงความสามารถในการแก้ปัญหาทางคณิตศาสตร์ได้อย่างมีประสิทธิภาพมากกว่าแบบจำลองขนาดใหญ่
2. การปรับแต่งเริ่มต้นเย็น: เริ่มแรก Deepseek R1 ผ่านการปรับแต่งการเริ่มต้นอย่างละเอียดโดยใช้ชุดข้อมูลขนาดกะทัดรัดที่มีการใช้เหตุผลทีละขั้นตอน ระยะเริ่มต้นนี้กำหนดรากฐานที่มั่นคงสำหรับความสามารถในการใช้เหตุผลของโมเดล [6] [8] การใช้ข้อมูลเริ่มต้นเย็นช่วยในการสร้างวิธีการที่มีโครงสร้างในการแก้ปัญหา
3. การเรียนรู้การเสริมแรง (RL): หลังจากการปรับแต่งครั้งแรก Deepseek R1 ใช้การเรียนรู้การเสริมแรงอย่างบริสุทธิ์เพื่อเพิ่มทักษะการใช้เหตุผล กระบวนการนี้เกี่ยวข้องกับการให้คะแนนคำตอบตัวอย่างโดยอัตโนมัติเพื่อผลักดันโมเดลไปสู่พฤติกรรมที่ต้องการเช่นการจัดหาโซลูชั่นทีละขั้นตอนสำหรับปัญหาทางคณิตศาสตร์ [7] [8] RL เป็นสิ่งสำคัญสำหรับการพัฒนาความสามารถของโมเดลในการให้เหตุผลโดยไม่ต้องพึ่งพาข้อมูลที่มีป้ายกำกับ
4. การสุ่มตัวอย่างการปฏิเสธและการปรับแต่งอย่างละเอียด: ใกล้กับการบรรจบกันของกระบวนการ RL Deepseek R1 ใช้การสุ่มตัวอย่างการปฏิเสธเพื่อสร้างข้อมูลสังเคราะห์ ข้อมูลสังเคราะห์นี้จะถูกรวมเข้ากับข้อมูลภายใต้การดูแลจากโดเมนต่าง ๆ เพื่อปรับแต่งความรู้และความแม่นยำของโมเดลต่อไป [8] ขั้นตอนนี้ทำให้มั่นใจได้ว่าแบบจำลองจะเรียนรู้จากทั้งผลลัพธ์ที่มีคุณภาพสูงและความรู้เฉพาะโดเมนที่หลากหลาย
5. การเพิ่มประสิทธิภาพนโยบายสัมพัทธ์ของกลุ่ม (GRPO): Deepseek ได้พัฒนา GRPO ซึ่งเป็นอัลกอริทึมใหม่ที่ออกแบบมาเพื่อให้การเรียนรู้การเสริมแรงมีประสิทธิภาพมากขึ้น GRPO ใช้เพื่อเพิ่มประสิทธิภาพกระบวนการฝึกอบรมช่วยให้แบบจำลองสามารถทำงานได้ดีในหลายเกณฑ์มาตรฐาน [7] ในขณะที่ GRPO ไม่ได้มีรายละเอียดเฉพาะสำหรับการสร้างสูตร แต่ก็มีส่วนช่วยในการทำงานโดยรวมของกระบวนการฝึกอบรมของ Deepseek
6. กระบวนการฝึกอบรมหลายขั้นตอน: วิธีการฝึกอบรมหลายขั้นตอนที่นำมาใช้โดย Deepseek R1 เกี่ยวข้องกับการทำซ้ำผ่านขั้นตอนต่าง ๆ ของการปรับแต่งและการเรียนรู้การเสริมแรง แต่ละขั้นตอนสร้างขึ้นเมื่อก่อนหน้านี้เพื่อให้มั่นใจว่าแบบจำลองจะพัฒนาความสามารถในการใช้เหตุผลที่แข็งแกร่งในขณะที่ยังคงความสามารถในการอ่านและการเชื่อมโยงกัน [6] [8] วิธีการที่มีโครงสร้างนี้เป็นกุญแจสำคัญในการบรรลุประสิทธิภาพสูงในงานการใช้เหตุผลทางคณิตศาสตร์
โดยสรุปความสามารถในการสร้างสูตรของ Deepseek ได้รับการสนับสนุนโดยการผสมผสานของเทคนิค NLP ขั้นสูงกลยุทธ์การเรียนรู้เสริมแรงและอัลกอริทึมที่เป็นนวัตกรรมเช่น GRPO วิธีการเหล่านี้ช่วยให้แบบจำลอง Deepseek มีความเชี่ยวชาญในการใช้เหตุผลทางคณิตศาสตร์และงานการแก้ปัญหา
การอ้างอิง:
[1] https://kalm.works/en/contents/technology/what-is-deepseek-differences-from-chatgpt-and-use-cases
[2] https://www.youtube.com/watch?v=PABQG33SURG
[3] https://planetbanatt.net/articles/deepseek.html
[4] https://martinfowler.com/articles/deepseek-papers.html
[5] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models
[6] https://www.reddit.com/r/singularity/comments/1i9lkbh/deepseekr1_how_did_they_make_an_openailevel/
[7] https://www.technologyreview.com/2025/01/31/1110740/how-deepseek-Ripped-up-the-ai-playbook-and-why-everyones-go-to-to-it/
[8] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it