في Deepseek-V3 ، تلعب وظيفة تنشيط Sigmoid دورًا مهمًا في عملية توجيه الخبراء من خلال تعديل كيفية تعيين الرموز المميزة للخبراء. على عكس الإصدارات السابقة التي استخدمت وظيفة softmax ، تستخدم Deepseek-V3 وظيفة Sigmoid لحساب درجات التقارب بين الرموز والخبراء. يساعد هذا التغيير في منع احتمالات اختيار الخبراء المتطرفة ، والتي يمكن أن تؤدي إلى انهيار التوجيه - موقف يفضل فيه النموذج بعض الخبراء على الآخرين ، مما يقلل من فوائد التخصص والكفاءة.
وظيفة تنشيط Sigmoid في توجيه الخبراء
يتم استخدام وظيفة sigmoid ، التي يُشار إليها باسم $$ \ sigma (\ cdot) $$ ، لحساب درجة التقارب بين الرمز المميز والخبير. على وجه التحديد ، يتم حساب SCORE $$ S_ {i ، t} $$ للرمز $$ t $$ والخبير $$ i $$ على النحو التالي:
$$ s_ {i ، t} = \ sigma (u_t^t e_i) $$
حيث $$ u_t $$ هو التضمين الرمزي و $$ e_i $$ هو متجه centroid الخبير $$ i $$. تعكس هذه النتيجة مدى توافق الرمز المميز مع تخصص الخبير.
التطبيع والاختيار
بعد حساب هذه الدرجات ، يقوم Deepseek-V3 بتطبيعها ويختار الخبراء العلوي-$$ K_R $$ بناءً على هذه الدرجات الطبيعية. تضمن هذه العملية توجيه كل رمز إلى مجموعة فرعية من الخبراء الأكثر صلة به ، مما يعزز معالجة فعالة ومتخصصة.
شروط التحيز لموازنة التحميل
لمنع انهيار التوجيه وضمان توزيع الحمل المتوازن بين الخبراء ، يقدم Deepseek-V3 مصطلحات التحيز القابلة للتعديل ديناميكيًا. تتم إضافة شروط التحيز هذه إلى درجات التقارب قبل اختيار كبار الخبراء. إذا تم زيادة تحميل الخبير ، فالنتقل من مصطلح التحيز ، وإذا تم تحميله ، يتم زيادة مصطلح التحيز. تضمن هذه الآلية أن الحمل يظل متوازنًا دون الاعتماد على وظائف الخسارة الإضافية ، والتي يمكن أن تؤثر سلبًا على أداء النموذج [1] [3].
فوائد sigmoid على softmax
يساعد استخدام وظيفة Sigmoid بدلاً من SoftMax في فصل احتمالات الاختيار لخبراء مختلفين. في SoftMax ، يتم تطبيع الاحتمالات إلى واحد إلى واحد ، مما قد يؤدي إلى احتمالات شديدة عندما يكون خبير واحد مفضلة بشكل كبير. من ناحية أخرى ، يسمح Sigmoid بتعيينات احتمالية أكثر مرونة ومستقلة ، مما يقلل من احتمال انهيار التوجيه وتعزيز استخدام خبراء أكثر توازناً [4].
بشكل عام ، تعزز وظيفة تنشيط Sigmoid في DeepSeek-V3 قدرة النموذج على توجيه الرموز المميزة إلى الخبراء المعنيين بكفاءة مع الحفاظ على عبء عمل متوازن ، وهو أمر بالغ الأهمية لتحقيق الأداء العالي والكفاءة الحاسوبية في الخليط على نطاق واسع (MOE).
الاستشهادات:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://aman.ai/primers/ai/deepseek-r1/
[3] https://machinelearningatscale.substack.com/p/deepeek-v3-model
[4] https://mlfrontiers.substack.com/p/understing-deepeek-v3
[5] https://docs.nvidia.com/nemo-framework/user-guide/latest/llms/deepseek_v3.html
[6] https://planetbanatt.net/articles/deepseek.html
[7] https://arxiv.org/pdf/2412.19437.pdf
[8] https://builtin.com/machine-learning/sigmoid-activation-function
