فك تشفير المضاربة هو تقنية تستخدم لتسريع سرعة الاستدلال لنماذج اللغة الكبيرة مثل Deepseek-R1 من خلال الاستفادة من نموذج مسودة أصغر لإنشاء رموز مرشحة بالتوازي. يمكن أن يقلل هذا النهج بشكل كبير من الكمون من خلال السماح للنموذج بإنتاج الرموز المميزة المتعددة في وقت واحد ، والتي يتم التحقق منها بعد ذلك بواسطة النموذج الأكبر لضمان الدقة. ومع ذلك ، في حين أن فك تشفير المضاربة يحسن الإنتاجية بشكل عام ، إلا أنه يمكن أن يقدم التباين في الكمون بسبب عملية التحقق.
كيف يعمل فك تشفير المضاربة
1. توليد الرمز المميز الموازي: يولد نموذج مسودة أصغر رموزًا متعددة المرشحين بالتوازي. هذا أسرع من التوليد المتسلسل بواسطة النموذج الأكبر لأنه يستخدم تسارع GPU بشكل أكثر كفاءة [1] [3].
2. عملية التحقق: النموذج الأكبر يتحقق من هذه الرموز المرشحة. إذا كانت تتطابق مع الإخراج المتوقع ، فسيتم قبولهم ؛ خلاف ذلك ، يتم إعادة حساب الرموز الرموز غير الصحيحة فقط [3] [9].
تأثير على الكمون
- انخفاض متوسط الكمون: يمكن أن يؤدي فك التشفير المضاربة إلى تقليل متوسط الكمون عن طريق توليد الرموز بسرعة أكبر. وذلك لأن مسودة النموذج يتطلب موارد أقل ويمكن أن يعمل بشكل أسرع من النموذج الأكبر [3] [5].
- زمن انتقال متغير: في حين أن فك تشفير المضاربة يحسن الإنتاجية بشكل عام ، فإنه يمكن أن يؤدي إلى الكمون غير المتسق. عندما تكون تنبؤات المسودة غير صحيحة ، يجب إعادة حساب النموذج الأكبر ، مما قد يسبب طفرات في الكمون [3] [9].
تفاصيل Deepseek-R1
يشتمل Deepseek-R1 على تحسينات مثل التنبؤ متعدد التنبؤ (MTP) وفك تشفير المضاربة المحسّن ، مما يزيد من تحسين سرعة الاستدلال. يسمح MTP DeepSeek-R1 بالتنبؤ برموز متعددة بالتوازي ، مما يقلل من زمن انتشار فك التشفير دون المساس بالتماسك [4]. يستخدم فك التشفير المحسن في DeepSeek-R1 التحقق من الاتفاق الاحتمالي ، وقبول التنبؤات بناءً على عتبات الثقة بدلاً من المطابقة الدقيقة ، مما يقلل من معدلات الرفض ويسرع الاستدلال [4].
بشكل عام ، يمكن لفك تشفير المضاربة أن يعزز بشكل كبير من أداء DeepSeek-R1 عن طريق تقليل متوسط الكمون وتحسين الإنتاجية ، ولكنه قد يقدم تباينًا في الكمون بسبب عملية التحقق.
الاستشهادات:
[1] https://centml.ai/resources/2x-inference-peed-on-r1
[2] https://iaee.substack.com/p/deepseek-r1-intuively-and-exhanting
[3] https://www.theregister.com/2024/12/15/speculative_decoding/
[4] https://aman.ai/primers/ai/deepseek-r1/
[5] https://arxiv.org/html/2503.07807v1
[6]
[7] https://arxiv.org/html/2502.02789
[8] https://www.linkedin.com/posts/lamersrick_i-worked-on-this-peculative-decode-version-activity-7293321395000819712-8yvc
[9] https://predibase.com/blog/predibase.com/blog/deepeek-r1-self-distillation-turbo-speculation
[10 "