Использование FP8 (8-битная плавающая точка) для операций по умножению матрицы (GEMM) в DeepSeek-V3 предлагает несколько значительных преимуществ, в первую очередь с точки зрения эффективности вычислительной техники и экономии памяти. Вот подробные преимущества:
1. Вычислить эффективность: операции FP8 обеспечивают существенное увеличение вычислительной скорости по сравнению с традиционными операциями FP16 или FP32. В частности, тензорные ядра Nvidia могут выполнять операции FP8 GEMM с увеличением скорости FP16, что ускоряет общий процесс обучения крупномасштабных моделей, таких как DeepSeek-V3 [3] [4].
2. Экономия памяти: использование FP8 снижает требования к памяти вдвое по сравнению с BF16, что позволяет обучать более крупные и более глубокие модели в рамках тех же аппаратных ограничений. Это особенно полезно для моделей, которые требуют обширных ресурсов памяти, что позволяет разрабатывать более сложные модели без необходимости дополнительного оборудования [3] [6].
3. Эффективная связь: в распределенных учебных средах FP8 снижает пропускную способность, необходимую для передачи данных между графическими процессорами, что повышает эффективность синхронизации и снижает накладные расходы на связь. Это важно для крупномасштабных моделей ИИ, которые часто полагаются на распределенные вычислительные настройки [3].
4. мелкозернистое квантование: DeepSeek-V3 использует мелкозернистую стратегию квантования для решения проблем, связанных с ограниченным динамическим диапазоном FP8. Это включает в себя группировку элементов в более мелкие плитки или блоки и масштабирование их независимо, что помогает в лучшей обработке выбросов и поддержании численной стабильности [1] [2].
5. Повышенная точность накопления. Чтобы смягчить ошибки, вызванные ограниченным накоплением битовой ширины в тензорных ядрах, DeepSeek-V3 способствует частичным результатам в регистрах FP32 с определенными интервалами во время накопления. Это повышает точность операций GEMM FP8, гарантируя, что преимущества FP8 реализованы без ущерба для точности [1].
6. Unified E4M3 Формат: в отличие от предыдущих подходов, в которых использовались гибридные форматы FP8, DeepSeek-V3 принимает формат E4M3 повсеместно. Это способствует его мелкозернистой стратегии квантования, которая эффективно разделяет биты показателей между группированными элементами, упрощая структуру и повышение точности [1].
7. Квантование онлайн: модель динамически вычисляет коэффициенты масштабирования для каждой плитки активации или веса во время тренировок, что устраняет необходимость в методах отсроченного квантования. Это упрощает структуру и повышает точность, адаптируясь к характеристикам данных в реальном времени [1].
8. Оптимизированная поддержка библиотеки: разработка DeepGemm, оптимизированной библиотеки GEMM FP8, еще больше повышает эффективность операций FP8 в DeepSeek-V3. DeepGemm поддерживает как плотные, так и архитектуры MOE, обеспечивая эффективные вычисления матрицы, которые имеют решающее значение для крупномасштабных моделей ИИ [4] [7]. Он использует состав Just-In-Time (JIT) и мелкозернистое масштабирование для поддержания вычислительной эффективности при минимизации потери точности [4] [5].
Цитаты:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://blog.aitoolhouse.com/deepseek-ai-releases-deepgemm-an-optimized-f8-gemm-library-for-dense-and-computation/
[5] https://www.reddit.com/r/localllama/comments/1iybcnl/deepseek_realse_3th_bomb_deepgemm_a_library_for/
[6] https://arxiv.org/html/2503.09975v1
[7] https://digialps.com/deepseek-ai-drops-deepgemm-an-fp8-gemm-library-that-powers-v3-and-r1-models/
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722