الهدف من التنبؤ متعدد التنبؤ (MTP) في DeepSeek-V3 يعزز بشكل كبير أداء النموذج عن طريق تحويل النموذج من التنبؤ التقليدي المقبل إلى نهج أكثر شمولية يتنبأ بالرموز المتعددة في وقت واحد. يؤدي هذا الابتكار إلى العديد من التحسينات الرئيسية:
تحسين كفاءة البيانات
يزيد MTP من كثافة إشارات التدريب عن طريق السماح للنموذج بإجراء تنبؤات متعددة لكل تسلسل إدخال. تتنبأ النماذج التقليدية ، مثل GPT ، برمز واحد فقط في وقت واحد ، والذي يمكن أن يترك الكثير من الإمكانات التنبؤية للتسلسل غير المستغلة. من خلال التنبؤ بالرموز المتعددة ، يضمن MTP استخدامًا أفضل لبيانات التدريب ، مما يؤدي إلى تحسين نتائج التعلم والكفاءة الكلية [1] [2].تحسين التخطيط التمثيل
يشجع هذا الهدف النموذج على تطوير تمثيلات داخلية أكثر ثراءً من خلال النظر في تبعيات طويلة الأجل في البيانات. من خلال طلب تنبؤات للعديد من الرموز المستقبلية في وقت واحد ، يجبر MTP النموذج على تشفير المزيد من المعلومات السياقية في كل موقف ، ويتوافق بشكل أوثق مع العمليات المعرفية البشرية عند فهم اللغة. ينتج عن هذا فهم أعمق للسياق والمعنى داخل التسلسلات [1] [3].قدرات تعميم أوسع
يعزز MTP قدرة النموذج على التعميم عبر مهام مختلفة تتطلب التفكير في السياقات الممتدة أو توليد تسلسل متماسك. هذا مفيد بشكل خاص في المعايير المعقدة مثل Humaneval و GSM8K ، حيث يكون التخطيط طويل الأجل والتفكير متعدد الخطوات ضروريين. تتيح القدرة على توقع الرموز القادمة المتعددة النموذج من إنتاج مخرجات أكثر تماسكًا وذات صلة بالسياق ، وبالتالي تحسين أدائها على المهام التي تتطلب التفكير المعقد [1] [4].إمكانات فك تشفير المضاربة
أثناء الاستدلال ، يمكن لـ MTP تسهيل فك تشفير المضاربة ، حيث يتم إنشاء تنبؤات رمزية متعددة بالتوازي بدلاً من التسلسل. يمكن أن تقلل هذه القدرة بشكل كبير من زمن الوصول وتسريع أوقات الاستجابة أثناء نشر النموذج ، مما يجعلها أكثر كفاءة للتطبيقات في الوقت الفعلي [2] [3].باختصار ، لا يحسن هدف التنبؤ المتعدد في DeepSeek-V3 كفاءة التدريب فحسب ، بل يعزز أيضًا القدرات التنبؤية للنموذج وتعميمه عبر المهام المعقدة ، مما يمثل تقدمًا كبيرًا على طرق التنبؤ التقليدية المقبلة.
الاستشهادات:[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-drom-deepseek-v3؟lang=en
[2] https://huggingface.co/Deepseek-ai/deepseek-v3/blob/main/readme.md
[3]
[4] https://arxiv.org/pdf/2412.19437.pdf
[5] https://arxiv.org/html/2412.19437v1
[6] https://www.linkedin.com/posts/ivandj_deepseek-v3-Outperforms-Sonnet-at-53x-theper-activity-727804807307685889-xrno
[7] https://huggingface.co/Deepseek-ai/deepeek-v3/blob/9672b384bf8a07c8968cf874cde35020f146fc64/readme.md
[8]
[9] https://ithy.com/article/deepseek-v3-progress-in-language-models-huyq64wk