الهدف من التنبؤ متعدد التنبؤ (MTP) في DeepSeek-V3 يعزز بشكل كبير كفاءة البيانات من خلال تغيير نموذج التنبؤ التقليدي المقبل. بدلاً من التنبؤ فقط بالرمز الفوري المجاور ، يقوم MTP بتدريب النموذج للتنبؤ برموز مستقبلية متعددة في وقت واحد. يضعف هذا النهج إشارات التدريب ، مما يعني أنه بالنسبة لكل تسلسل إدخال ، فإن النموذج يصنع تنبؤات متعددة ، مما يؤدي إلى استخدام أفضل لبيانات التدريب.
كفاءة البيانات المحسنة
1. إشارات التدريب المكثفة: من خلال التنبؤ بالرموز المتعددة في وقت واحد ، يزيد MTP من كثافة إشارات التدريب. تتنبأ النماذج التقليدية مثل GPT عادةً رمزًا واحدًا لكل موضع إدخال ، والذي يمكن أن يترك الكثير من الإمكانات التنبؤية للتسلسل غير المستغلة. في المقابل ، يضمن MTP إجراء المزيد من التنبؤات لكل تسلسل إدخال ، وبالتالي تحسين كفاءة البيانات وتسريع نتائج التعلم [1] [4].
2. تخطيط التمثيل المحسن: يشجع هدف MTP النموذج على تطوير تمثيلات داخلية أكثر ثراءً من خلال النظر في تبعيات طويلة الأجل في البيانات. من خلال طلب تنبؤات للعديد من الرموز المستقبلية في وقت واحد ، يجبر MTP النموذج على تشفير المزيد من المعلومات السياقية في كل موضع. هذا يتوافق بشكل أوثق مع العمليات المعرفية البشرية عند فهم اللغة ، مما يؤدي إلى فهم أعمق للسياق والمعنى داخل التسلسلات [1] [4].
3. إمكانيات التعميم الأوسع: القدرة على التنبؤ بالرموز المتعددة تعزز قدرة النموذج على التعميم عبر المهام المختلفة التي تتطلب التفكير عبر السياقات الممتدة أو توليد تسلسل متماسك. هذا مفيد بشكل خاص في المعايير المعقدة مثل Humaneval و GSM8K ، حيث يكون التخطيط طويل الأجل والتفكير متعدد الخطوات ضروريين [1] [4].
إمكانات فك تشفير المضاربة
أثناء الاستدلال ، يمكن أن يسهل هدف MTP فك التشفير المضاربة ، حيث يتم إنشاء تنبؤات للرموز المتعددة بالتوازي بدلاً من التسلسل. يمكن أن تقلل هذه القدرة بشكل كبير من زمن الوصول وتسريع أوقات الاستجابة أثناء نشر النموذج ، مما يجعلها أكثر كفاءة للتطبيقات في الوقت الفعلي [1] [6].
باختصار ، لا يحسن هدف MTP في DeepSeek-V3 كفاءة التدريب فحسب ، بل يعزز أيضًا القدرات التنبؤية للنموذج والتعميم عبر المهام المعقدة ، مما يمثل تقدمًا كبيرًا على أساليب التنبؤ التقليدية المقبل.
الاستشهادات:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks-multi-token-prediction-bredictive-objective-enhance-dormance
[2] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[3]
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-feeek-v3؟lang=en
[5] https://blog.dataopslabs.com
[6] https://github.com/deepeek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/understing-deepeek-v3
[8] https://www.deeplearninn
[9] https://www.youtube.com/watch؟v=jl49flojyng