يوفر استخدام FP8 (نقطة عائمة 8 بت) لعمليات تكاثر المصفوفة العامة (GEMM) في DeepSeek-V3 العديد من الفوائد المهمة ، بشكل أساسي من حيث الكفاءة الحسابية وتوفير الذاكرة. فيما يلي المزايا التفصيلية:
1. حساب كفاءة: توفر عمليات FP8 زيادة كبيرة في السرعة الحسابية مقارنة بعمليات FP16 أو FP32 التقليدية. على وجه التحديد ، يمكن أن تقوم نوى الموترات في NVIDIA بإجراء عمليات FP8 GEMM بسرعة ضعف سرعة FP16 ، والتي تسرع عملية التدريب الشاملة للنماذج واسعة النطاق مثل Deepseek-V3 [3] [4].
2. توفير الذاكرة: استخدام FP8 يقلل من متطلبات الذاكرة بمقدار النصف مقارنةً بـ BF16 ، مما يسمح بتدريب نماذج أكبر وأعمق في نفس قيود الأجهزة. هذا مفيد بشكل خاص للنماذج التي تتطلب موارد للذاكرة الواسعة ، مما يتيح تطوير نماذج أكثر تعقيدًا دون الحاجة إلى أجهزة إضافية [3] [6].
3. التواصل الفعال: في بيئات التدريب الموزعة ، يقلل FP8 من عرض النطاق الترددي المطلوب لنقل البيانات بين وحدات معالجة الرسومات ، مما يحسن كفاءة التزامن ويقلل من الاتصالات العامة. هذا أمر بالغ الأهمية لنماذج الذكاء الاصطناعى على نطاق واسع والتي تعتمد غالبًا على إعدادات الحوسبة الموزعة [3].
4. القياس الدقيق الحبيبات: يستخدم Deepseek-V3 استراتيجية قياس كمية دقيقة لمواجهة التحديات التي يطرحها النطاق الديناميكي المحدود لـ FP8. يتضمن ذلك تجميع عناصر في البلاط أو الكتل الأصغر وتوسيع نطاقها بشكل مستقل ، مما يساعد في التعامل بشكل أفضل مع القيم المتطرفة والحفاظ على الاستقرار العددي [1] [2].
5. زيادة الدقة للتراكم: للتخفيف من الأخطاء الناجمة عن تراكم عرض البتات المحدود في نوى الموتر ، يعزز Deepseek-V3 النتائج الجزئية إلى سجلات FP32 على فترات زمنية محددة أثناء التراكم. هذا يعزز دقة عمليات FP8 GEMM ، مما يضمن تحقيق فوائد FP8 دون المساس بالدقة [1].
6. تنسيق E4M3 الموحد: على عكس الأساليب السابقة التي استخدمت تنسيقات FP8 الهجينة ، يعتمد Deepseek-V3 تنسيق E4M3 عالميًا. يتم تسهيل ذلك من خلال استراتيجية القياس الكمي الدقيق ، والتي تشترك بفعالية في البتات الأساسية بين العناصر المجمعة ، وتبسيط الإطار وتحسين الدقة [1].
7. القياس الكمي عبر الإنترنت: يحسب النموذج عوامل التحجيم ديناميكيًا لكل بلاط التنشيط أو كتلة الوزن أثناء التدريب ، مما يلغي الحاجة إلى طرق القياس الكمي المتأخر. هذا يبسط الإطار ويحسن الدقة من خلال التكيف مع خصائص البيانات في الوقت الحقيقي [1].
8. دعم المكتبة الأمثل: تطوير DeepGemm ، مكتبة FP8 GEMM المحسنة ، يعزز كفاءة عمليات FP8 في Deepseek-V3. يدعم DeepGEMM كلاً من بنية كثيفة و MOE ، مما يضمن حسابات المصفوفة الفعالة التي تعتبر ضرورية لنماذج الذكاء الاصطناعى على نطاق واسع [4] [7]. إنه يستخدم مجموعة فقط في الوقت المناسب (JIT) والتوسيع الدقيق للحفاظ على الكفاءة الحسابية مع تقليل فقد الدقة [4] [5].
الاستشهادات:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-drom-deepseek-v3؟lang=en
[2] https://machinelearningatscale.substack.com/p/deepeek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://blog.aitoolhouse.com/deepseek-ai-releases-deepgemm-an-optimized-fp8-gemmmmmm-for-dense-and-moe-computation/
[5]
[6] https://arxiv.org/html/2503.09975v1
[7]
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722