Deepseek, une startup d'IA chinoise à croissance rapide, utilise plusieurs stratégies pour gérer efficacement les demandes de jetons à grande échelle, en particulier grâce à son dernier modèle, Deepseek-V3. Ce modèle utilise une architecture de mélange de réseaux (MOE), qui lui permet d'activer sélectivement un sous-ensemble de paramètres pour chaque jeton traité. Plus précisément, Deepseek-V3 a un total de 671 milliards de paramètres, mais seulement 37 milliards sont activés pour chaque jeton pendant l'inférence. Cette conception améliore considérablement l'efficacité informatique par rapport aux modèles denses traditionnels, où tous les paramètres sont engagés pour chaque demande [1] [4].
Pour optimiser davantage les performances, Deepseek-V3 met en œuvre une stratégie d'équilibrage de charge efficace tout au long de ses processus de formation et d'inférence. Cette approche garantit qu'aucun jeton n'est abandonné pendant l'une ou l'autre phase. Le modèle maintient un bon équilibre de charge en utilisant un mécanisme de routage restreint qui limite les coûts de communication et permet un chevauchement de communication de calcul presque complet. En conséquence, Deepseek-V3 peut gérer des volumes élevés de demandes de jetons sans sacrifier les performances ni la fiabilité [2] [4].
En termes de formation, Deepseek-V3 est pré-formé sur un ensemble de données détaillé comprenant 14,8 billions de jetons, suivis des étapes de réglage fin supervisé et d'apprentissage du renforcement pour affiner ses capacités. Le processus de formation est conçu pour être stable et efficace, complétant en moins de deux mois avec un coût total d'environ 5,576 millions de dollars en heures de GPU [1] [2]. Cette utilisation efficace des ressources permet à Deepseek de se développer efficacement tout en gérant les demandes de jetons à grande échelle à travers ses services.
Dans l'ensemble, l'architecture innovante de Deepseek et les approches stratégiques lui permettent de gérer efficacement les demandes de jetons substantielles, ce qui en fait un acteur compétitif dans le paysage de l'IA.
Citations:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepseek-limits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-explaked-everything-you-need-to-know
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cyberattack-says-its-limiting-registrations.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-know-about-this-new-llm-in-one-place