La precisión de FP8 juega un papel crucial en el proceso de entrenamiento de Deepseek-V3, mejorando significativamente la eficiencia y la reducción de los costos computacionales. Aquí hay una explicación detallada de su papel:
Introducción a la precisión FP8
FP8 es un formato de punto flotante de 8 bits que ofrece una representación más compacta en comparación con los formatos tradicionales de 16 o 32 bits. Esta compacidad da como resultado un uso reducido de la memoria y un cálculo más rápido, lo que lo hace ideal para el entrenamiento de modelos de IA a gran escala como Deepseek-V3 [3] [5].
Marco de precisión mixto
Deepseek-V3 emplea un marco de precisión mixto, donde diferentes partes del modelo usan diferentes niveles de precisión. La mayoría de las operaciones intensivas en cómputo, como la multiplicación general de matriz (GEMM), se realizan en FP8 para optimizar la velocidad y el uso de la memoria. Sin embargo, ciertas operaciones que requieren una mayor precisión, como el módulo de incrustación, el cabezal de salida, los módulos de activación de MOE, los operadores de normalización y los operadores de atención, se mantienen en formatos de mayor precisión (FP16 o FP32) para mantener la precisión [1] [5].
Cuantización de grano fino
Para abordar los desafíos del rango dinámico limitado de FP8, Deepseek-V3 introduce una estrategia de cuantización de grano fino. Esto implica agrupar activaciones en mosaicos y pesos 1x128 en 128x128 bloques, cada uno escalado de forma independiente. Este enfoque evita que los valores extremos distorsionen todo el tensor, reducen los errores de cuantización y mantengan la precisión del modelo [1] [5].
Cuantización en línea
Deepseek-V3 utiliza cuantización en línea, donde los factores de escala se calculan dinámicamente para cada mosaico de activación o bloque de peso durante el entrenamiento. Esto elimina la necesidad de métodos de cuantización tardía que se basan en valores máximos históricos, simplificando el marco y mejorando la precisión [1] [5].
Aumento de la precisión de acumulación
Para mitigar los errores causados por la precisión de acumulación limitada de FP8 en los núcleos de tensor, Deepseek-V3 promueve resultados parciales a registros FP32 a intervalos específicos durante las operaciones de GEMM. Esto asegura que se minimice la acumulación de pequeños errores, manteniendo la precisión general del modelo [1] [5].
formato unificado e4m3
A diferencia de los marcos anteriores que utilizaron formatos FP8 híbridos (por ejemplo, E4M3 para el pase hacia adelante y E5M2 para el pase hacia atrás), Deepseek-V3 adopta universalmente el formato E4M3. Esto es posible gracias a su estrategia de cuantización de grano fino, que comparte efectivamente bits de exponentes entre elementos agrupados, manteniendo la precisión en todos los cálculos [1] [5].
Impacto en la eficiencia de entrenamiento
El uso de la precisión FP8 acelera significativamente el proceso de entrenamiento de Deepseek-V3. El modelo fue entrenado utilizando un centro de datos de 2048 GPU en unos dos meses, lo que requiere solo 2.664 millones de horas de GPU para la capacitación previa y unas horas de GPU adicionales para las etapas posteriores. Esta eficiencia se atribuye a la reducción del consumo de memoria y al aumento de la velocidad computacional ofrecida por FP8 [3] [6].
En resumen, la precisión de FP8 en Deepseek-V3 es crucial para lograr una alta eficiencia de entrenamiento mientras se mantiene la precisión del modelo. Se integra cuidadosamente en un marco de precisión mixto, aprovechando la cuantización de grano fino y la cuantización en línea para mitigar las limitaciones de FP8.
Citas:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways--fromseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-less-and-crippled-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-point-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-precision-training/