Deepseek, een snelgroeiende Chinese AI-startup, maakt gebruik van verschillende strategieën om grootschalige tokenverzoeken effectief te beheren, met name via het nieuwste model, Deepseek-V3. Dit model maakt gebruik van een MOE-architectuur (Mengsel-of-Experts (MOE), waarmee het selectief een subset van parameters voor elk verwerkt token kan activeren. In het bijzonder heeft DeepSeek-V3 in totaal 671 miljard parameters, maar slechts 37 miljard worden geactiveerd voor elk token tijdens de gevolgtrekking. Dit ontwerp verbetert de rekenefficiëntie aanzienlijk in vergelijking met traditionele dichte modellen, waarbij alle parameters voor elk verzoek zijn ingeschakeld [1] [4].
Om de prestaties verder te optimaliseren, implementeert DeepSeek-V3 een effectieve strategie voor load balancing tijdens zijn trainings- en inferentieprocessen. Deze benadering zorgt ervoor dat er tijdens beide fase geen tokens worden gedropt. Het model handhaaft een goede laadbalans door gebruik te maken van een beperkt routeringsmechanisme dat de communicatiekosten beperkt en bijna volledige overlapping van de rekencommunicatie mogelijk maakt. Als gevolg hiervan kan Deepseek-V3 hoge volumes tokenverzoeken verwerken zonder prestaties of betrouwbaarheid op te offeren [2] [4].
In termen van training is DeepSeek-V3 vooraf opgeleid op een uitgebreide dataset die 14,8 biljoen tokens omvat, gevolgd door fasen van begeleide verfijning en versterking leren om de mogelijkheden ervan te verfijnen. Het trainingsproces is ontworpen om stabiel en efficiënt te zijn en in minder dan twee maanden te voltooien met een totale kosten van ongeveer $ 5,576 miljoen aan GPU -uren [1] [2]. Dit efficiënte gebruik van middelen stelt Deepseek in staat om effectief op te schalen, terwijl het beheren van grootschalige tokenverzoeken in zijn services.
Over het algemeen stellen de innovatieve architectuur en strategische benaderingen van Deepseek het in staat om substantiële token -aanvragen efficiënt aan te kunnen, waardoor het een competitieve speler in het AI -landschap is.
Citaten:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepseek-limits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-expleted-yverhing-you-need-to- Know
[6] https://www.reddit.com/r/localllama/comment
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-cale-cyberAttack-say-its-beperking-registraties.html
[8] https://daily.dev/blog/deepseek-ylething-you-ned-to-know-about-this-new-llm-in-one-place