Deepseek-V3'te, Sigmoid fonksiyonu uzmanların (MOE) mimarisinin karışımında uzman yönlendirmesi için afinite skorlarının hesaplanmasında önemli bir rol oynamaktadır. Affinite skorlarını normalleştirmek için Softmax işlevini sıklıkla kullanan geleneksel MOE modellerinin aksine, Deepseek-V3 sigmoid fonksiyonunu kullanır. Bu değişiklik modeli çeşitli şekillerde etkiler:
1. Normalleştirme ve yönlendirme: Sigmoid fonksiyonu, afinite skorlarını hesaplamak için kullanılır, bunlar daha sonra geçit değerlerini üretmek için seçilen tüm afinite skorları arasında normalleştirilir. Bu yaklaşım, softmax'a kıyasla daha esnek ve nüanslı bir yönlendirme mekanizmasına izin verir, bu da bazen bazı uzmanların aşırı tercih edildiği yerde yönlendirme çökmesine yol açabilir [4] [7].
2. Yönlendirme çöküşünden kaçınmak: Çoğu belirteç, çoğu jeton küçük bir uzman alt kümesine yönlendirildiğinde, hesaplama kaynaklarının verimsiz kullanılmasına yol açtığında gerçekleşir. Deepseek-V3, sigmoid geçitleme kullanarak ve eğitim sırasında dinamik olarak ayarlanan önyargı terimlerini getirerek bunu hafifletir. Bu önyargı terimleri, model performansını olumsuz etkileyebilecek yardımcı kayıplara dayanmadan uzmanlar arasındaki yükü dengelemeye yardımcı olur [4] [9].
3. Önyargı terimleri ve dinamik ayarlama: Model, en iyi K uzmanlarını seçmeden önce afinite puanlarına eklenen her uzman için önyargı terimleri içerir. Bu önyargı terimleri, her uzmanın yüküne göre dinamik olarak ayarlanır. Bir uzman aşırı yüklenirse, önyargı terimi azalır ve düşükse, önyargı terimi artar. Bu, ek kayıplara ihtiyaç duymadan jetonların uzmanlar arasında dengeli bir dağılımını sağlar [4] [8].
4. Tamamlayıcı dizi-bazlı yardımcı kayıp: Deepseek-V3 öncelikle yardımcı kayıplardan kaçınsa da, tek bir dizinin küçük bir uzman alt kümesini ağır bir şekilde desteklediği aşırı vakaları önlemek için küçük bir dizi denge kaybı içerir. Bu kayıp, genel eğitim dinamiklerini önemli ölçüde etkilemeden bir koruma görevi görür [4].
5. Düğüm sınırlı yönlendirme: İletişim maliyetlerini kontrol etmek için Deepseek-V3, her bir jetonun en yüksek afinite puanlarına göre en fazla m düğümüne gönderildiği düğüm sınırlı yönlendirme kullanır. Bu strateji, verimliliği artırarak eğitim sırasında tam hesaplama-iletişim örtüşmesini sağlar [4].
Genel olarak, Sigmoid fonksiyonunun Deepseek-V3'te kullanılması, modelin performansdan ödün vermeden uzman kullanımını dengeleme yeteneğine katkıda bulunan daha esnek ve verimli bir yönlendirme mekanizmasına izin verir.
Alıntılar:
[1] https://www.linkedin.com/posts/srijanie-dey_aibyhand-deeplearning-neuralnetworks-activity-7291477904792657920-ye_
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-uniquewaveys-from-depseek-v3?lang=en
[3] https://docs.openvino.ai/2025/notebooks/yolov11-keypoint-detection-withut.html
[4] https://machinelearningatscale.substack.com/p/deepseek-v3
[5] https://ai.gopubby.com/deepseek-v3-sesplained-3-axiliary-loss-free-load-walcing-4beeb734ab1f
[6] https://neurips.cc/virtual/2024/poster/96407
[7] https://www.gdsprs.com/bbs/board.php?bo_table=free&wr_id=2559&sst=wr_hit&sod=desc&sop=and&page=147&device=pc
[8] https://www.mlsys.ai/papers/deepseek_v3.html
[9] https://gonzoml.substack.com/p/deepseek-v3-technical-details