Deepseek R1 يعزز قدراتها المنطقية من خلال نهج التعلم التعزيز الجديد (RL) الذي يختلف عن أساليب التثبيت التقليدي الخاضع للإشراف (SFT). تتيح هذه الاستراتيجية المبتكرة للنموذج تطوير مهارات التفكير بشكل مستقل وكفاءة.
إطار تعلم التعزيز
توظف Deepseek R1 تحسين السياسة النسبية للمجموعة (GRPO) ، وهو إطار RL القائم على القواعد يمكّن النموذج من التعلم من التجربة والخطأ دون الاعتماد على مجموعات البيانات المسموح بها مسبقًا. يتيح هذا النهج للنموذج استكشاف مساحة حلول شاسعة ، واكتشاف أنماط واستراتيجيات التفكير الفريدة التي قد لا تكون موجودة في بيانات التدريب الخاضعة للإشراف [1] [2] [4]. من خلال تحفيز التفكير أثناء عملية RL ، يمكن لـ Deepseek R1 توليد سلاسل متماسكة من الفكر والانخراط في التحقق من الذات والانعكاس ، والتي تعتبر ضرورية لحل المشكلات المعقدة [4].
عملية تدريب متعددة المراحل
ينقسم تدريب Deepseek R1 إلى عدة مراحل:
1. مرحلة البدء الباردة: يبدأ النموذج بكمية صغيرة من البيانات الخاضعة للإشراف عالية الجودة التي تم جمعها من سابقتها ، Deepseek R1-Zero. تساعد هذه المرحلة على تخفيف قضايا مثل سوء القراءة وخلط اللغة التي لوحظت في النماذج السابقة [1] [2].
2. RL الموجهة نحو التفكير: بعد البداية الباردة ، يخضع النموذج لتدريب RL الموجهة نحو التفكير. تركز هذه المرحلة على تعزيز القدرات في مجالات محددة مثل الترميز والرياضيات والمنطق ، حيث يمكن تعريف حلول واضحة باستخدام قواعد المكافأة [3] [4].
3. ضبط البيانات الجديدة: بعد التدريب الأولي RL ، يتم إنشاء بيانات جديدة خاضعة للإشراف من خلال أخذ العينات الرفض بناءً على نقطة تفتيش RL. ثم يتم استخدام هذه البيانات لمزيد من الضبط الدقيق ، مما يسمح للنموذج بتحسين قدراته المنطقية عبر مهام مختلفة [1] [2].
نتائج الأداء
نتيجة عملية التدريب الصارمة هذه هي نموذج يحقق مستويات الأداء مماثلة للنماذج الرائدة مثل Openai's O1-1217 على مهام التفكير. على سبيل المثال ، أظهر Deepseek R1 تحسينات كبيرة في المعايير ، مع زيادة معدلات النجاح من 15.6 ٪ إلى 71 ٪ في مهام AIME 2024 ، مع عرض قدرات التفكير المعززة [1] [2].
باختصار ، لا يعزز نهج التعلم التعزيز لـ Deepseek R1 التفكير المستقل فحسب ، بل يعزز أيضًا كفاءة حل المشكلات من خلال تقليل الاعتماد على مجموعات البيانات الخاضعة للإشراف. هذا يضعه كأداة قوية في مشهد نماذج اللغة الكبيرة.
الاستشهادات:[1] https://arxiv.org/html/2501.12948v1
[2] https://myedgetech.com/deepeek-r1-tr/
[3] https://www.youtube.com/watch؟v=dcqqcllsibu
[4] https://arbisoft.com/blogs/deep-keek-r1-the-chinese-ai-powerhouse-outperforming-open-ai-s-o1-at-95-less-cost
[5] https://github.com/deepseek-ai/deepeek-r1/actions
[6] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-t-ranks-against-openais-o1
[7] https://arxiv.org/abs/2501.12948
[8] https://www.vellum.ai/blog/the-training-of-deepeseek-r1-and-ways-to-use-it