L'uso del gating sigmoideo in DeepSeek-V3 offre diversi vantaggi chiave, in particolare nel contesto dei modelli di miscela di esperti (MOE). Ecco i vantaggi dettagliati:
1. Punteggi del router di disaccoppiamento: a differenza del tradizionale gating di Softmax, che normalizza i punteggi in tutti gli esperti, il gating sigmoid consente di calcolare il punteggio di ciascun esperto in modo indipendente. Ciò disaccoppia i punteggi del router, il che significa che l'attivazione di un esperto non influenza direttamente l'attivazione degli altri. Ciò può portare a decisioni di routing più flessibili e sfumate, poiché il punteggio di ciascun esperto non è vincolato dai punteggi degli altri [5].
2. Evitare la fiducia eccessiva: il gating Softmax può talvolta portare all'eccessiva fiducia nelle decisioni di routing, in cui un singolo esperto viene scelto con una probabilità molto elevata, ignorando potenzialmente altri esperti rilevanti. Il gating di sigmoide mitiga questo consentendo di attivare più esperti con elevate probabilità, promuovendo un utilizzo più bilanciato degli esperti in tutto il modello [5].
3. Preservare i contributi degli esperti: utilizzando il gating sigmoide, il contributo di ciascun esperto viene preservato in modo più efficace. I valori di gating, che vengono moltiplicati con le uscite esperte, derivano dai punteggi di affinità originali senza normalizzazione. Ciò garantisce che l'integrità del contributo di ciascun esperto sia mantenuta, anche quando vengono attivati più esperti [3].
4. Flessibilità nel routing: il gating sigmoide fornisce una maggiore flessibilità nelle decisioni di routing, in quanto non applica una rigorosa normalizzazione tra tutti gli esperti. Questa flessibilità può essere particolarmente vantaggiosa negli scenari in cui più esperti sono ugualmente rilevanti per l'elaborazione di un determinato token di input, consentendo al modello di sfruttare le diverse fonti di conoscenza in modo più efficace [5].
5. Riduzione del rischio di routing di routing: il collasso del routing si verifica quando il modello favorisce costantemente un piccolo sottoinsieme di esperti, tornando efficacemente a un modello denso. Il gating sigmoideo, combinato con altre strategie di bilanciamento del carico come i termini di distorsione dinamica, aiuta a prevenirlo incoraggiando una distribuzione più equilibrata dei token tra gli esperti senza penalizzare direttamente lo squilibrio attraverso perdite ausiliarie [3].
Nel complesso, l'uso del gating sigmoideo in DeepSeek-V3 migliora la capacità del modello di gestire in modo efficiente la specializzazione di esperti e la condivisione delle conoscenze, contribuendo alla sua forte prestazione e all'efficienza computazionale.
Citazioni:
[1] https://community.aws/content/2rjj1wztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://ai.gopubby.com/deepseek-v3-explained-2-deepseekmoe-106cffcc56c1
[3] https://machinelearningatascale.substack.com/p/deepseek-v3-model
[4] https://www.linkedin.com/posts/niccolo-gentile-phd-02208160_there-is-understandly-quite-a-lot-of-activity-7289514266699493376-q1ob
[5] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
[6] https://metr.org/blog/2025-02-14-measuring-automated-kernel-ingeningering/
[7] https://arxiv.org/html/2412.19437v1
[8] https://stackoverflow.com/questions/56318636/what-alare-the-benefits-of-using-a-sigmoid-function