Deepseek-V3 aborde un déséquilibre extrême dans une seule séquence grâce à une combinaison de stratégies innovantes conçues pour maintenir une utilisation équilibrée d'experts et améliorer les performances.
Stratégie d'équilibrage sans perte auxiliaire
Deepseek-V3 utilise une stratégie sans dédoute auxiliaire pour l'équilibrage de la charge entre son architecture de mélange d'Experts (MOE). Cette méthode ajuste dynamiquement les termes de biais associés à chaque expert en fonction de leur utilisation pendant la formation. Plus précisément, si un expert est trop utilisé, son biais est diminué pour réduire sa probabilité de sélection, tandis que les experts sous-utilisés voient une augmentation de leur biais pour améliorer leur probabilité de sélection. Cet ajustement dynamique permet de garantir que tous les experts sont utilisés plus uniformément tout au long du processus de formation, empêchant ainsi un seul expert de devenir surchargé [1] [3].Perte d'équilibrage par séquence
En plus de la stratégie sans dédoute auxiliaire, Deepseek-V3 intègre une perte d'équilibre complémentaire par séquence. Cette fonction de perte est spécifiquement conçue pour éviter des déséquilibres extrêmes dans les séquences individuelles. En appliquant un petit facteur d'équilibre, le modèle encourage une distribution plus uniforme de la charge experte à travers les jetons dans une séquence. Cette approche garantit qu'aucun jeton unique n'affecte de manière disproportionnée les performances globales du modèle en raison de l'utilisation des experts déséquilibrés [1] [4].Quantification à grains fins
Deepseek-V3 utilise également une stratégie de quantification à grain fin pour gérer efficacement les valeurs aberrantes d'activation. Cette méthode implique la mise à l'échelle des activations à un niveau plus granulaire plutôt que d'appliquer un seul facteur de mise à l'échelle sur toutes les valeurs. En regroupant les activations et les poids en tuiles plus petites, le modèle peut mieux gérer des valeurs extrêmes sans perdre de précision pour des valeurs plus typiques. Cette granularité aide à atténuer l'impact des valeurs aberrantes pendant la formation, ce qui est crucial pour maintenir des représentations équilibrées à travers les séquences [2] [3].Conclusion
Grâce à ces stratégies combinées, les ajustements de biais dynamiques pour l'utilisation des experts et la perte d'équilibrage en fonction des séquences - Deepseek-V3 gère efficacement un déséquilibre extrême dans les séquences tout en optimisant les performances et l'efficacité des ressources. Cette approche multiforme lui permet de maintenir une précision élevée et une stabilité pendant la formation, même face à des intrants de données diverses et difficiles.Citations:
[1] https://arxiv.org/html/2412.19437v1
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-Takeaways-from-Deepseek-v3?lang=en
[3] https://ai.plainenglish.io/deepseek-v3-how-hey-achieved-big-results-with-small-compute-fb694606d59a?gi=f48ced057a1f
[4] https://www.linkedin.com/posts/sagar-s-desai_deepseekv3-mixtureofexperts-anguagemodel-activité-7278419435395170304-meki
[5] https://arxiv.org/pdf/2412.19437.pdf
[6] https://planetbanatt.net/articles/deepseek.html
[7] https://www.youtube.com/watch?v=ypxtz3i6xvo
[8] https://venturebeat.com/ai/deepseek-v3-ultra-large-open-source-ai-outperforms-llama-and-qwen-on-launch/