FP8 Precision відіграє вирішальну роль у навчальному процесі DeepSeek-V3, що значно підвищує ефективність та зменшує обчислювальні витрати. Ось детальне пояснення його ролі:
Вступ до точності FP8
FP8-8-бітний формат з плаваючою комою, який пропонує більш компактне представлення порівняно з традиційними 16-бітними або 32-бітними форматами. Ця компактність призводить до зменшення використання пам'яті та більш швидкого обчислення, що робить його ідеальним для масштабних модельних тренувань AI, таких як DeepSeek-V3 [3] [5].
Змішана точність
DeepSeek-V3 використовує змішану точність рамки, де різні частини моделі використовують різні рівні точності. Більшість обчислювальних інтенсивних операцій, таких як загальне множення матриці (GEMM), виконуються у FP8 для оптимізації швидкості та використання пам'яті. Однак певні операції, які потребують більш високої точності, як, наприклад, модуль вбудовування, вихідна головка, модулі Moe Gating, оператори нормалізації та оператори уваги, зберігаються у форматах більш високої точності (FP16 або FP32) для підтримки точності [1] [5].
тонкозерниста квантування
Для вирішення проблем обмеженого динамічного діапазону FP8 DeepSeek-V3 вводить дрібнозернисту стратегію квантування. Це передбачає групування активації в 1x128 плитку та ваги в блоки 128х128, кожен незалежно масштабується. Цей підхід перешкоджає екстремальним значенням спотворення всього тензора, зменшення помилок квантування та підтримання точності моделі [1] [5].
онлайн -квантування
DeepSeek-V3 використовує квантування в Інтернеті, де коефіцієнти масштабування динамічно обчислюються для кожного плитки активації або ваги блоку під час тренувань. Це виключає необхідність затримки методів квантування, які покладаються на історичні максимальні значення, спрощуючи рамки та підвищуючи точність [1] [5].
Підвищена точність накопичення
Для пом'якшення помилок, спричинених обмеженою точністю накопичення FP8 в тензорних ядрах, DeepSeek-V3 сприяє частковому результатах до регістрів FP32 через конкретні інтервали під час операцій GEMM. Це гарантує, що накопичення малих помилок мінімізовано, підтримуючи загальну точність моделі [1] [5].
Уніфікований формат E4M3
На відміну від попередніх рамок, які використовували гібридні формати FP8 (наприклад, E4M3 для переднього проходу та E5M2 для зворотного проходу), DeepSeek-V3 універсально приймає формат E4M3. Це стає можливим завдяки його дрібнозернистій стратегії квантування, яка ефективно поділяє біт експонента серед згрупованих елементів, підтримуючи точність у всіх обчисленнях [1] [5].
Вплив на ефективність навчання
Використання точності FP8 значно прискорює навчальний процес DeepSeek-V3. Модель проходила навчання за допомогою центру обробки даних 2048 GPU лише за два місяці, вимагаючи лише 2,664 мільйона годин GPU HPU для попереднього тренування та додаткові 0,1 мільйона годин GPU для наступних етапів. Ця ефективність пояснюється зменшенням споживання пам'яті та збільшенням обчислювальної швидкості, пропонованої FP8 [3] [6].
Підводячи підсумок, точність FP8 в DeepSeek-V3 має вирішальне значення для досягнення високої ефективності тренувань при підтримці точності моделі. Він ретельно інтегрується в змішану точність рамки, використовуючи дрібнозернисті квантування та квантування в Інтернеті для пом'якшення обмежень FP8.
Цитати:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-less-and-criped-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-point-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-precision-training/