Deepseek, uma startup de IA chinesa em rápido crescimento, emprega várias estratégias para gerenciar efetivamente os pedidos de token em larga escala, principalmente por meio de seu mais recente modelo, Deepseek-V3. Este modelo utiliza uma arquitetura de mistura de especialistas (MOE), que permite ativar seletivamente um subconjunto de parâmetros para cada token processado. Especificamente, o Deepseek-V3 tem um total de 671 bilhões de parâmetros, mas apenas 37 bilhões são ativados para cada token durante a inferência. Esse design aprimora significativamente a eficiência computacional em comparação com os modelos densos tradicionais, onde todos os parâmetros estão envolvidos para cada solicitação [1] [4].
Para otimizar ainda mais o desempenho, o DeepSeek-V3 implementa uma estratégia eficaz de balanceamento de carga ao longo de seus processos de treinamento e inferência. Essa abordagem garante que os tokens não sejam descartados durante qualquer fase. O modelo mantém um bom equilíbrio de carga, utilizando um mecanismo de roteamento restrito que limita os custos de comunicação e permite a sobreposição quase completa da comunicação de computação. Como resultado, o DeepSeek-V3 pode lidar com altos volumes de solicitações de token sem sacrificar o desempenho ou a confiabilidade [2] [4].
Em termos de treinamento, o Deepseek-V3 é pré-treinado em um extenso conjunto de dados, compreendendo 14,8 trilhões de tokens, seguidos por estágios de ajuste fino supervisionado e reforço para refinar suas capacidades. O processo de treinamento foi projetado para ser estável e eficiente, concluindo em menos de dois meses com um custo total de aproximadamente US $ 5,576 milhões em horas da GPU [1] [2]. Esse uso eficiente de recursos permite que a DeepSeek escala efetivamente, gerenciando solicitações de token em larga escala em seus serviços.
No geral, a arquitetura inovadora e as abordagens estratégicas da Deepseek permitem lidar com solicitações substanciais de token com eficiência, tornando -o um participante competitivo no cenário da IA.
Citações:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepseek-limits-signups-after-large scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-expline- everything-you-need-to-know
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cyberattack-says-its-limiting-registrações.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-now-about-tis-new-llm-in-one-place