FP8 Precision hraje klíčovou roli v procesu tréninku Deepseek-V3, což výrazně zvyšuje účinnost a snižuje výpočetní náklady. Zde je podrobné vysvětlení jeho role:
Úvod do přesnosti FP8
FP8 je 8bitový formát s pohyblivou plovoucí body, který nabízí kompaktnější reprezentaci ve srovnání s tradičními 16bitovými nebo 32bitovými formáty. Tato kompaktnost má za následek snížení využití paměti a rychlejší výpočet, což je ideální pro rozsáhlé trénink modelu AI, jako je DeepSeek-V3 [3] [5].
Mixed Precision Framework
DeepSeek-V3 využívá smíšený přesný rámec, kde různé části modelu používají různé úrovně přesnosti. Většina výpočetních náročných operací, jako je obecná násobení matice (GEMM), se provádí v FP8 pro optimalizaci rychlosti a využití paměti. Určité operace, které vyžadují vyšší přesnost, jako je vkládací modul, výstupní hlava, moemové moduly, normalizační operátoři a operátoři pozornosti, jsou však udržovány ve vyšších přesných formátech (FP16 nebo FP32), aby udržely přesnost [1] [5].
jemnozrnná kvantizace
Pro řešení problémů omezeného dynamického rozsahu FP8 představuje DeepSeek-V3 jemnozrnnou kvantizační strategii. To zahrnuje aktivace seskupování do dlaždic a hmotností 1x128 do bloků 128x128, z nichž každý se zmenšil nezávisle. Tento přístup brání extrémním hodnotám zkreslení celého tenzoru, snižování kvantizačních chyb a udržování přesnosti modelu [1] [5].
Online kvantizace
DeepSeek-V3 používá online kvantizaci, kde jsou faktory škálování dynamicky vypočteny pro každou aktivační dlaždici nebo blok hmotnosti během tréninku. To eliminuje potřebu zpožděných kvantizačních metod, které se spoléhají na historické maximální hodnoty, zjednodušení rámce a zlepšení přesnosti [1] [5].
Zvýšená přesnost akumulace
Pro zmírnění chyb způsobených omezenou přesností akumulace FP8 v tenzorových jádrech podporuje DeepSeek-V3 částečné výsledky registrů FP32 ve specifických intervalech během operací GEMM. Tím je zajištěno, že akumulace malých chyb je minimalizována, což udržuje celkovou přesnost modelu [1] [5].
Unified E4M3 formát
Na rozdíl od předchozích rámců, které používaly hybridní formáty FP8 (např. E4M3 pro dopřed a E5M2 pro zpětný průchod), DeepSeek-V3 všeobecně přijímá formát E4M3. To je umožněno jeho jemnozrnnou kvantizační strategií, která účinně sdílí bity exponentu mezi seskupené prvky a udržuje přesnost napříč všemi výpočty [1] [5].
Dopad na efektivitu školení
Použití přesnosti FP8 významně urychluje proces tréninku DeepSeek-V3. Model byl vyškolen pomocí datového centra 2048 GPU za dva měsíce, což vyžadovalo pouze 2,664 milionu H800 GPU hodin pro předškolení a dalších 0,1 milionu hodin GPU pro následující fáze. Tato účinnost je připisována snížené spotřebě paměti a zvýšené výpočetní rychlosti nabízené FP8 [3] [6].
Stručně řečeno, přesnost FP8 v Deepseek-V3 je zásadní pro dosažení vysoké účinnosti tréninku při zachování přesnosti modelu. Je pečlivě integrován do smíšeného přesného rámce, využívá jemnozrnnou kvantizaci a online kvantizaci, aby se zmírnila omezení FP8.
Citace:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-its-it-model-on-lot-dles-and-crippled-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-training/