DeepSeek, una startup di AI cinese in rapida crescita, impiega diverse strategie per gestire efficacemente le richieste di token su larga scala, in particolare attraverso il suo ultimo modello, DeepSeek-V3. Questo modello utilizza un'architettura MOE (Mixture of Experts (MOE), che gli consente di attivare selettivamente un sottoinsieme di parametri per ciascun token elaborato. In particolare, DeepSeek-V3 ha un totale di 671 miliardi di parametri, ma solo 37 miliardi sono attivati per ciascun token durante l'inferenza. Questo design migliora significativamente l'efficienza computazionale rispetto ai modelli densi tradizionali, in cui tutti i parametri sono coinvolti per ogni richiesta [1] [4].
Per ottimizzare ulteriormente le prestazioni, DeepSeek-V3 implementa un'efficace strategia di bilanciamento del carico durante i suoi processi di formazione e inferenza. Questo approccio garantisce che non vengano abbandonati i token in entrambe le fasi. Il modello mantiene un buon equilibrio del carico utilizzando un meccanismo di routing limitato che limita i costi di comunicazione e consente una sovrapposizione di comunicazione di calcolo quasi completa. Di conseguenza, DeepSeek-V3 può gestire elevati volumi di richieste token senza sacrificare le prestazioni o l'affidabilità [2] [4].
In termini di formazione, DeepSeek-V3 è pre-addestrato su un ampio set di dati che comprende 14,8 trilioni di token, seguiti da fasi di messa a punto supervisionato e apprendimento del rinforzo per perfezionare le sue capacità. Il processo di formazione è progettato per essere stabile ed efficiente, completando in meno di due mesi con un costo totale di circa $ 5,576 milioni nelle ore GPU [1] [2]. Questo uso efficiente delle risorse consente a DeepSeek di ridimensionare efficacemente mentre si gestisce le richieste token su larga scala attraverso i suoi servizi.
Nel complesso, l'architettura innovativa e gli approcci strategici di Deepseek consentono di gestire in modo efficiente richieste di token sostanziali, rendendolo un attore competitivo nel panorama dell'IA.
Citazioni:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepseek-limits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-explained-everything-you-need-to-know
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-cyberattack-says-its- limiting-registrations.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-know-know-about-this-new-lllm-in-one-place