ใน Deepseek-V3 การปรับเปลี่ยนคำอคติแบบไดนามิกและ sigmoid gating ทำงานร่วมกันเพื่อเพิ่มประสิทธิภาพและประสิทธิภาพของโมเดลโดยการแก้ไขปัญหาความไม่สมดุลของโหลดระหว่างผู้เชี่ยวชาญ นี่คือคำอธิบายโดยละเอียดว่าส่วนประกอบเหล่านี้เติมเต็มซึ่งกันและกันอย่างไร:
การปรับเงื่อนไขอคติแบบไดนามิก
Deepseek-V3 แนะนำคำอคติสำหรับผู้เชี่ยวชาญแต่ละคนซึ่งได้รับการปรับแบบไดนามิกในระหว่างการฝึกอบรมเพื่อรักษาสมดุลโหลด วิธีการนี้หลีกเลี่ยงความจำเป็นสำหรับการสูญเสียเสริมที่สามารถส่งผลกระทบในทางลบต่อประสิทธิภาพของโมเดลโดยบังคับให้จัดลำดับความสำคัญของสมดุลโหลดมากกว่าการตัดสินใจเส้นทางที่ดีที่สุด คำอคติจะถูกเพิ่มเข้าไปในคะแนนความสัมพันธ์ของผู้เชี่ยวชาญก่อนที่จะตัดสินใจเส้นทาง Top-K แต่มันไม่ส่งผลกระทบต่อค่า gating ซึ่งได้มาจากคะแนนความสัมพันธ์ดั้งเดิม สิ่งนี้ทำให้มั่นใจได้ว่าการมีส่วนร่วมของผู้เชี่ยวชาญยังคงไม่บุบสลายในขณะที่ส่งเสริมการกำหนดเส้นทางที่สมดุล
- กลไกการปรับ: หากผู้เชี่ยวชาญมีการโอเวอร์โหลด (รับโทเค็นมากกว่าค่าเฉลี่ย) คำอคติของมันจะลดลง ในทางกลับกันหากผู้เชี่ยวชาญมีการใช้งานมากเกินไปคำอคติจะเพิ่มขึ้น การปรับนี้ช่วยป้องกันการล่มสลายของการกำหนดเส้นทางซึ่งแบบจำลองอาจให้ความสำคัญกับผู้เชี่ยวชาญสองสามคนมากเกินไปนำไปสู่การคำนวณที่ไม่มีประสิทธิภาพและลดประโยชน์เฉพาะทาง
sigmoid gating
Deepseek-V3 แทนที่ softmax แบบดั้งเดิม gating ด้วย sigmoid gating สำหรับการกำหนดเส้นทางผู้เชี่ยวชาญ การเปลี่ยนแปลงนี้ช่วยให้ผู้เชี่ยวชาญแต่ละคนมีโอกาสได้รับการคัดเลือกอย่างยุติธรรมเนื่องจากฟังก์ชั่น sigmoid แมปหมายเลขที่มีค่าจริงใด ๆ กับค่าระหว่าง 0 ถึง 1 ซึ่งแตกต่างจาก Softmax ซึ่งสามารถสร้างสภาพแวดล้อมการแข่งขันระหว่างผู้เชี่ยวชาญ
- ประโยชน์ของ sigmoid gating: วิธีการนี้ป้องกันไม่ให้โมเดลไม่สนใจผู้เชี่ยวชาญสองสามคนซึ่งสามารถนำไปสู่การใช้งานของผู้เชี่ยวชาญอื่น ๆ และประสิทธิภาพของโมเดลที่ลดลง ด้วยการให้ผู้เชี่ยวชาญแต่ละคนได้รับการยิงอย่างยุติธรรม Sigmoid Gating ส่งเสริมการใช้ประโยชน์จากผู้เชี่ยวชาญที่มีความสมดุลและหลากหลายมากขึ้นเพิ่มความสามารถและประสิทธิภาพโดยรวมของแบบจำลอง
การสูญเสียเสริมตามลำดับที่ชาญฉลาด
ในขณะที่กลไกหลักคือปราศจากการสูญเสียการสูญเสีย DEEPSEEK-V3 ยังรวมถึงการสูญเสียสมดุลตามลำดับที่สมบูรณ์แบบ การสูญเสียนี้ถูกควบคุมโดยพารามิเตอร์ขนาดเล็กมากทำหน้าที่เป็นตัวป้องกันเพื่อป้องกันกรณีที่รุนแรงซึ่งลำดับเดียวอาจสนับสนุนผู้เชี่ยวชาญชุดย่อยขนาดเล็ก ช่วยให้มั่นใจได้ถึงความสมดุลภายในแต่ละลำดับโดยไม่ส่งผลกระทบต่อการเปลี่ยนแปลงโดยรวมอย่างมีนัยสำคัญ
วิธีการปรับอคติแบบไดนามิกและการ gating sigmoid ช่วยเสริมซึ่งกันและกัน
1. การใช้ประโยชน์จากผู้เชี่ยวชาญที่สมดุล: การปรับแบบไดนามิกของคำอคติทำให้มั่นใจได้ว่าไม่มีผู้เชี่ยวชาญใดที่ได้รับการสนับสนุนมากเกินไปหรือไม่ได้รับการรักษาอย่างมาก Sigmoid Gating สนับสนุนสิ่งนี้โดยให้คะแนนผู้เชี่ยวชาญแต่ละคนด้วยคะแนนอิสระลดการแข่งขันและทำให้มั่นใจได้ว่าผู้เชี่ยวชาญทุกคนมีโอกาสมีส่วนร่วม
2. การกำหนดเส้นทางที่มีประสิทธิภาพ: โดยการปรับเงื่อนไขอคติแบบไดนามิกตามการใช้งานของผู้เชี่ยวชาญโมเดลสามารถกำหนดเส้นทางโทเค็นไปยังผู้เชี่ยวชาญที่เหมาะสมที่สุดได้อย่างมีประสิทธิภาพโดยไม่ต้องพึ่งพาการสูญเสียเสริมที่อาจส่งผลกระทบต่อประสิทธิภาพ Sigmoid Gating อำนวยความสะดวกในการกำหนดเส้นทางที่มีประสิทธิภาพนี้โดยอนุญาตให้มีกระบวนการเลือกที่เหมาะสมยิ่งขึ้น
3. ประสิทธิภาพของโมเดลที่ได้รับการปรับปรุง: การรวมกันของการปรับอคติแบบไดนามิกและการ gating sigmoid ช่วยเพิ่มประสิทธิภาพของโมเดลโดยทำให้มั่นใจได้ว่าโทเค็นแต่ละตัวจะถูกประมวลผลโดยผู้เชี่ยวชาญที่เหมาะสมที่สุด สิ่งนี้นำไปสู่ความเชี่ยวชาญและการแบ่งปันความรู้ที่ดีขึ้นระหว่างผู้เชี่ยวชาญปรับปรุงความสามารถของแบบจำลองในการจัดการงานที่หลากหลายอย่างมีประสิทธิภาพ
โดยสรุปการปรับเปลี่ยนคำอคติแบบไดนามิกและ sigmoid gating ใน deepseek-V3 ทำงานร่วมกันเพื่อให้ได้การใช้งานผู้เชี่ยวชาญที่สมดุลการกำหนดเส้นทางที่มีประสิทธิภาพและประสิทธิภาพของโมเดลที่ดีขึ้นในขณะที่หลีกเลี่ยงข้อเสียของการสูญเสียแบบดั้งเดิม
การอ้างอิง:
[1] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[2] https://www.linkedin.com/posts/sathiyakeerthi_how-deepseek-v3-picks-perfect-experts-activity-7287631625310412800-ncyv
[3] https://proceedings.neurips.cc/paper_files/paper/2024/file/1cded4f97cf5f01a284c574110b7e3b9-paper-conference.pdf.pdf
[4] https://www.linkedin.com/posts/josif-grabocka-7651b37_241219437V1- กิจกรรม-7289784195130781696-DM_V
[5] https://huggingface.co/deepseek-ai/deepseek-v3/blob/main/configuration_deepseek.py
[6] https://ai.gopubby.com/deepseek-v3-explained-2-deepseekmoe-106cffcc56c1
[7] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[8] https://www.youtube.com/watch?v=8V2L6SJECW4
[9] https://rxiv.org/ai/
[10] https://fireworks.ai/blog/deepseek-model-architecture