รูปแบบ E4M3 แบบครบวงจรเป็นอย่างไรมีส่วนช่วยให้ประสิทธิภาพของ DeepSeek-V3

กลยุทธ์การหาปริมาณที่ละเอียด

Deepseek-V3 ใช้กลยุทธ์การหาปริมาณที่ละเอียดซึ่งช่วยให้สามารถใช้รูปแบบ E4M3 ได้อย่างมีประสิทธิภาพในทุกขั้นตอนของการฝึกอบรม ซึ่งแตกต่างจากเฟรมเวิร์กก่อนหน้านี้ที่ใช้รูปแบบไฮบริด FP8 (เช่น E4M3 สำหรับการส่งต่อและ E5M2 สำหรับผ่านไปข้างหลัง) วิธีการของ Deepseek-V3 ทำให้มั่นใจได้ว่าการเปิดใช้งานจะถูกจัดกลุ่มและปรับขนาดบนพื้นฐานของกระเบื้อง 1x128 ความละเอียดนี้ช่วยในการจัดการค่าผิดปกติที่ดีขึ้นโดยการปรับปัจจัยการปรับสเกลแบบไดนามิกสำหรับแต่ละกลุ่มซึ่งจะช่วยลดผลกระทบของช่วงไดนามิกที่ จำกัด ในรูปแบบ FP8 [3]

การปรับขนาดแบบไดนามิกและการหาปริมาณออนไลน์

โมเดลใช้การหาปริมาณออนไลน์โดยที่ปัจจัยการปรับสเกลจะถูกคำนวณแบบไดนามิกสำหรับแต่ละกระเบื้องการเปิดใช้งานหรือบล็อกน้ำหนักระหว่างการฝึกอบรม สิ่งนี้ช่วยลดความจำเป็นในการรักษาค่าสูงสุดในอดีตทำให้กรอบการทำงานง่ายขึ้นและปรับปรุงความแม่นยำ [1] [2] โดยการปรับปัจจัยการปรับขนาดเหล่านี้แบบไดนามิก DeepSeek-V3 สามารถเพิ่มประสิทธิภาพการใช้ถังแสดงหมายเลข FP8 ที่มีอยู่เพื่อให้แน่ใจว่าค่าส่วนใหญ่ไม่ได้ถูกรวมเข้าด้วยกันในช่วงแคบซึ่งจะนำไปสู่ความแม่นยำที่ไม่ดีสำหรับค่าที่เล็กกว่า [3]

ลดการใช้หน่วยความจำและค่าใช้จ่ายในการคำนวณ

รูปแบบ E4M3 แบบครบวงจรรวมกับปริมาณที่ละเอียดลดการใช้หน่วยความจำอย่างมีนัยสำคัญ ด้วยการจัดเก็บการเปิดใช้งานและสถานะของเครื่องมือเพิ่มประสิทธิภาพในรูปแบบความแม่นยำต่ำ (เช่น FP8 สำหรับการเปิดใช้งาน), Deepseek-V3 ลดความต้องการหน่วยความจำซึ่งเป็นสิ่งสำคัญสำหรับรุ่นขนาดใหญ่ [1] [5] นอกจากนี้การใช้ FP8 สำหรับการคำนวณที่สำคัญจะช่วยลดค่าใช้จ่ายในการคำนวณเนื่องจากต้องใช้ข้อมูลน้อยลงเมื่อเทียบกับรูปแบบที่มีความแม่นยำสูงกว่าเช่น FP16 หรือ FP32 [5]

เพิ่มเสถียรภาพเชิงตัวเลข

Deepseek-V3 ยังกล่าวถึงปัญหาการสูญเสียความแม่นยำเชิงตัวเลขที่เกี่ยวข้องกับการฝึกอบรม FP8 โดยการส่งเสริมผลลัพธ์บางส่วนไปยังการลงทะเบียน FP32 ในช่วงเวลาที่เฉพาะเจาะจงในระหว่างการสะสม กลยุทธ์นี้ช่วยลดข้อผิดพลาดที่เกิดจากการสะสมบิตที่ จำกัด ในแกนเทนเซอร์เพื่อให้มั่นใจถึงความมั่นคงเชิงตัวเลขและการฝึกอบรมที่เชื่อถือได้ [1] [7]

โดยสรุปรูปแบบ E4M3 แบบครบวงจรใน DeepSeek-V3 ช่วยเพิ่มประสิทธิภาพโดยการอนุญาตให้มีปริมาณที่ละเอียดการปรับขนาดแบบไดนามิกการใช้หน่วยความจำที่ลดลงและความเสถียรเชิงตัวเลขที่ดีขึ้น นวัตกรรมเหล่านี้ช่วยให้ DeepSeek-V3 สามารถบรรลุประสิทธิภาพที่ทันสมัยในขณะที่เพิ่มประสิทธิภาพทรัพยากรการคำนวณ

การอ้างอิง:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://research.meekolab.com/deepseks-low-level-hardware-magic
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[5] https://cciedump.spoto.net/newblog/overview-of-deepseek-v3:-latest-deepseek-technical-report.html
[6] https://adasci.org/deepseek-v3-explained-optimizing-efficience-and-scale/
[7] https://www.linkedin.com/posts/danielhanchen_deepseek-v3-is-the-most-powerful-open-source-ctivity-727848573006200832-kta_
[8] https://www.reddit.com/r/localllama/comments/1hmmtt3/deepseek_v3_is_officialy_Release_Code_Paper/