تتفاعل معلمة درجة الحرارة في DeepSeek R1 ، مثل النماذج التوليدية الأخرى ، مع معلمات أخرى مثل Top P و Top K للتحكم في العشوائية وتنوع الإخراج. إليك شرح مفصل لكيفية عمل هذه المعلمات معًا:
معلمة درجة الحرارة
تقوم معلمة درجة الحرارة بتوسيع نطاق السجلات قبل تطبيق وظيفة softmax ، والتي تعدل العشوائية الشاملة لاختيار الرمز المميز. درجة الحرارة المنخفضة (على سبيل المثال ، قريبة من 0.0) تجعل النموذج أكثر حتمية ودقيقة ، مناسبة للمهام التي تتطلب إجابات دقيقة مثل الترميز أو الرياضيات. على العكس ، تزيد درجة حرارة أعلى (على سبيل المثال ، أعلى من 1.0) من الإبداع والتغير في الإخراج ، وهو مفيد للمهام مثل سرد القصص أو الشعر [4] [8].Top P و Top K Parameters
- أعلى K: هذه المعلمة تحد من خيارات النموذج إلى أعلى الرموز الأكثر احتمالا. يساعد في منع النموذج من اختيار الرموز النادرة أو غير ذات الصلة ، مما يضمن أن الإخراج يظل متماسكًا ويركز على الخيارات الأكثر احتمالًا [8].- أعلى P: هذه المعلمة تحد من الرموز على من ضمن الاحتمال التراكمي ص. يوفر تحكمًا ديناميكيًا في تنوع الإخراج من خلال تكييف حجم المفردات بناءً على ثقة النموذج في تنبؤاته [8].
التفاعل بين درجة الحرارة ، أعلى P ، وأعلى K
عند الجمع بين هذه المعلمات ، يمكنك ضبط إخراج النموذج بشكل أكبر:- درجة الحرارة + أعلى k: عن طريق ضبط درجة الحرارة ، يمكنك التحكم في العشوائية ، في حين أن Top K يقيد النموذج على الرموز الأكثر احتمالا. هذا المزيج مفيد للمهام التي تتطلب كل من الإبداع والتماسك.
- درجة الحرارة + أعلى p: هنا ، تضبط درجة الحرارة العشوائية ، ويقصر أعلى p الرموز على أساس الثقة. يعد هذا الإعداد مثاليًا للمهام التي تريد موازنة الإبداع مع ثقة النموذج في تنبؤاته.
في DeepSeek R1 ، يتم تعيين معلمة درجة الحرارة عادة ضمن نطاق معين (على سبيل المثال ، 0.5-0.7) لمنع المخرجات المتكررة أو غير المترابطة [5]. على الرغم من عدم وجود تفاعل مباشر بين درجة الحرارة والمعلمات الأخرى من حيث عملياتها الرياضية ، إلا أنها تؤثر بشكل جماعي على خصائص ناتج النموذج من خلال التحكم في العشوائية والتنوع والتماسك.
بالنسبة للتطبيقات العملية ، يتيح ضبط هذه المعلمات للمطورين تخصيص سلوك النموذج بحالات الاستخدام المحددة ، مما يضمن أن يكون الإخراج ذا صلة وجذابة. ومع ذلك ، تركز وثائق Deepseek R1 بشكل أساسي على تعديلات درجات الحرارة ، مع التركيز بشكل أقل على إعدادات أعلى K و Top P ، مما يشير إلى أن هذه قد لا تكون مميزة بشكل بارز في تكوينها القياسي [4] [5].
الاستشهادات:
[1] https://writesonic.com/blog/what-is-deepeek-r1
[2] https://www.linkedin.com/pulse/deepseek-r1s-game-game-game-approach-parameter-activation-danial-amin-vumlf
[3]
[4] https://www.datacamp.com/tutorial/deepeek-api
[5] https://build.nvidia.com/deepseek-ai/deepeek-r1/modelcard
[6] https://huggingface.co/Deepseek-ai/deepseek-r1
[7] https://www.linkedin.com/pulse/explanations-deepseek-r1-technical-paper-khang-vu-tien-ngsxe
[8] https://codefinity.com/blog/undergening-temperature ، top-k ،-and top-p-sampling-in-genery-models
[9] https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-deepseek.html