حقق Deepseek دقة عالية في معيار AIME 2024 من خلال توظيف العديد من التقنيات المبتكرة:
1. سمح لهم هذا النهج بالتركيز على إنشاء بيانات عالية الجودة وذات صلة تساهم بشكل مباشر في تحسين أداء النموذج [1].
2. وظائف المكافأة الفعالة: لقد طورت وظائف مكافأة عالية الكفاءة مصممة لتحديد الأمثلة التدريبية الجديدة التي ستحسن النموذج فعليًا. ساعدت هذه الاستراتيجية في تجنب هدر الموارد الحسابية على البيانات الزائدة ، مما يضمن أن النموذج المستفاد من الأمثلة الأكثر قيمة [1].
3. التقطير وتحسين النموذج: تستخدم Deepseek تقنيات التقطير النموذجية لإنشاء نماذج أصغر لا تزال تحقق نتائج رائعة. على سبيل المثال ، تجاوز نموذج 7B المقطر دقة النماذج الأكبر مفتوح المصدر مثل QWQ-32B-Preview ، على الرغم من وجود معلمات أقل. هذا يوضح كيف يمكن أن يؤدي التدريب المركّز إلى أداء قوي في مجالات محددة مع موارد حسابية متواضعة [1].
4. استخدام سلاسل حساب الوقت والمنطق: تستخدم نماذج Deepseek ، مثل Deepseek R1 ، تقنية تسمى "حساب وقت الاختبار" ، والتي تسمح للنموذج بقضاء المزيد من الوقت والقوة الحسابية على كل مشكلة. يحاكي هذا النهج مداولات تشبه الإنسان ، مما يؤدي إلى استجابات أكثر دقة ومدروسة. نظرًا لأن النموذج يولد سلاسل تفكير أطول ، يمكن أن يحل مشاكل معقدة بشكل متزايد مع دقة أكبر [6].
5. الشفافية والهندسة المعمارية متعددة الوكلاء: تستخدم نماذج Deepseek ، وخاصة Deepseek-R1 ، بنية تعاونية متعددة الوكلاء تدمج مسارات التفكير المتنوعة. يساعد هذا التآزر في تخفيف التحيزات الخاصة بالمهمة ويعزز الاتساق عن طريق تقليل التباين. يسمح النهج المهيكل للنموذج بتحديد أولويات حلول عالية الثقة بشكل ديناميكي مع تحسين مخرجات أقل تأكيدًا [3].
تساهم هذه التقنيات بشكل جماعي في أداء Deepseek المثير للإعجاب في مؤشر AIME 2024 ، مما يعرض كيف يمكن لأساليب التدريب الاستراتيجية وتصميم النماذج أن تتفوق على القوة الحسابية الخام في تحقيق دقة عالية.
الاستشهادات:
[1]
[2]
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-t-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6]
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepeek-models