في Deepseek-V3 ، تلعب وظيفة السيني دورًا حاسمًا في حساب درجات التقارب لتوجيه الخبراء في مزيج من الخبراء (MOE) بنية. على عكس نماذج MOE التقليدية التي تستخدم وظيفة SoftMax في كثير من الأحيان لتطبيع درجات التقارب ، يستخدم Deepseek-V3 وظيفة Sigmoid. يؤثر هذا التغيير على النموذج بعدة طرق:
1. التطبيع والتوجيه: يتم استخدام وظيفة السيني لحساب درجات التقارب ، والتي يتم تطبيعها بعد ذلك بين جميع درجات التقارب المحددة لإنتاج قيم البوابات. يسمح هذا النهج بآلية توجيه أكثر مرونة ودقة مقارنة بـ SoftMax ، والتي قد تؤدي أحيانًا إلى انهيار التوجيه حيث يتم تفضيل بعض الخبراء بشكل مفرط [4] [7].
2. تجنب انهيار التوجيه: يحدث انهيار التوجيه عندما يتم توجيه معظم الرموز إلى مجموعة فرعية صغيرة من الخبراء ، مما يؤدي إلى استخدام الموارد الحسابية غير الفعالة. يخفف Deepseek-V3 هذا باستخدام بوابات Sigmoid وإدخال مصطلحات التحيز التي تعدل ديناميكيًا أثناء التدريب. تساعد شروط التحيز هذه في تحقيق التوازن بين الخبراء دون الاعتماد على الخسائر الإضافية التي يمكن أن تؤثر سلبًا على أداء النموذج [4] [9].
3. شروط التحيز والتعديل الديناميكي: يشتمل النموذج على شروط التحيز لكل خبير ، والتي تتم إضافتها إلى درجات التقارب قبل اختيار خبراء كبار K. يتم تعديل مصطلحات التحيز هذه بشكل ديناميكي بناءً على تحميل كل خبير. إذا كان الخبير مثاليًا ، يتناقص مصطلح التحيز الخاص به ، وإذا تم تحميله ، يزداد مصطلح التحيز. هذا يضمن توزيع متوازن للرموز عبر الخبراء دون الحاجة إلى خسائر إضافية [4] [8].
4. خسارة تسلسل تكميلية مناسبة: على الرغم من أن Deepseek-V3 يتجنب بشكل أساسي الخسائر الإضافية ، فإنه يتضمن خسارة صغيرة في توازن التسلسل لمنع الحالات القصوى حيث يفضل تسلسل واحد بشكل كبير مجموعة فرعية صغيرة من الخبراء. تعمل هذه الخسارة كحماية دون التأثير بشكل كبير على ديناميات التدريب الشاملة [4].
5. التوجيه المحدود للعقدة: للتحكم في تكاليف الاتصال ، يستخدم Deepseek-V3 توجيهًا محدودًا للعقدة ، حيث يتم إرسال كل رمز إلى معظم العقد على معظم درجات التقارب. تتيح هذه الاستراتيجية تداخل التواصل الحاديفي شبه الكامل أثناء التدريب ، مما يعزز الكفاءة [4].
بشكل عام ، يسمح استخدام وظيفة Sigmoid في DeepSeek-V3 بآلية توجيه أكثر مرونة وكفاءة ، مما يساهم في قدرة النموذج على موازنة استخدام الخبراء دون التضحية بالأداء.
الاستشهادات:
[1] https://www.linkedin.com/posts/srijanie-dey_aibyhand-deeplearning-neuralnetworks-activity-7291477904792657920-Rye_
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-drom-deepseek-v3؟lang=en
[3] https://docs.openvino.ai/2025/notebooks/yolov11-keypoint-detection-with-output.html
[4] https://machinelearningatscale.substack.com/p/deepeek-v3-model
[5] https://ai.gopubby.com/deepseek-v3-explied-3-auxiliary-los-free-balancing-4beeb734ab1f
[6] https://neurips.cc/virtual/2024/poster/96407
[7] https://www.gdsprs.com/bbs/board.php؟bo_table=free&wr_id=2559&sst=wr_hit&sod=desc&sop=and &page=147&device=pc
[8] https://www.mlsys.ai/papers/deepseek_v3.html
[9] https://gonzoml.substack.com/p/deepseek-v3-technical-details