Deepseek, una startup de IA china en rápido crecimiento, emplea varias estrategias para gestionar efectivamente las solicitudes de token a gran escala, particularmente a través de su último modelo, Deepseek-V3. Este modelo utiliza una arquitectura de mezcla de expertos (MOE), que le permite activar selectivamente un subconjunto de parámetros para cada token procesado. Específicamente, Deepseek-V3 tiene un total de 671 mil millones de parámetros, pero solo se activan 37 mil millones para cada token durante la inferencia. Este diseño mejora significativamente la eficiencia computacional en comparación con los modelos densos tradicionales, donde todos los parámetros se dedican a cada solicitud [1] [4].
Para optimizar aún más el rendimiento, Deepseek-V3 implementa una estrategia de equilibrio de carga efectiva a lo largo de sus procesos de entrenamiento e inferencia. Este enfoque asegura que no se eliminen los tokens durante ninguna de las fase. El modelo mantiene un buen equilibrio de carga al utilizar un mecanismo de enrutamiento restringido que limita los costos de comunicación y permite una superposición de comunicación casi completa. Como resultado, Deepseek-V3 puede manejar altos volúmenes de solicitudes de tokens sin sacrificar el rendimiento o la confiabilidad [2] [4].
En términos de capacitación, Deepseek-V3 se captura previamente en un extenso conjunto de datos que comprende 14.8 billones de tokens, seguidos de etapas de ajuste y refuerzo supervisados de aprendizaje para refinar sus capacidades. El proceso de capacitación está diseñado para ser estable y eficiente, completando en menos de dos meses con un costo total de aproximadamente $ 5.576 millones en horas de GPU [1] [2]. Este uso eficiente de los recursos permite a Deepseek escalar de manera efectiva mientras se administra solicitudes de token a gran escala en sus servicios.
En general, la arquitectura innovadora y los enfoques estratégicos de Deepseek le permiten manejar solicitudes de token sustanciales de manera eficiente, lo que lo convierte en un jugador competitivo en el panorama de la IA.
Citas:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-appdeepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepseek-limits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-explaned-everything-you-need-to- know
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cyberattack-says-its-limiting-registrations.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-know-upout-this-new-llm-in-one-place