Použití FP8 (8bitový plovoucí bod) pro operace obecné matice (GEMM) v DeepSeek-V3 nabízí několik významných výhod, především z hlediska výpočetní účinnosti a úspor paměti. Zde jsou podrobné výhody:
1. Výpočetní účinnost: Operace FP8 poskytují podstatné zvýšení výpočetní rychlosti ve srovnání s tradičními operacemi FP16 nebo FP32. Konkrétně, tenzorová jádra NVIDIA mohou provádět operace FP8 GEMM při dvojnásobku rychlosti FP16, což zrychluje celkový tréninkový proces rozsáhlých modelů, jako je DeepSeek-V3 [3] [4].
2. Úspory paměti: Použití FP8 snižuje požadavky na paměť o polovinu ve srovnání s BF16, což umožňuje trénovat větší a hlubší modely v rámci stejných hardwarových omezení. To je obzvláště výhodné pro modely, které vyžadují rozsáhlé zdroje paměti, což umožňuje vyvíjet složitější modely, aniž by bylo nutné další hardware [3] [6].
3. Efektivní komunikace: V distribuovaných tréninkách snižuje FP8 šířku pásma potřebnou pro přenos dat mezi GPU, což zlepšuje účinnost synchronizace a snižuje režii komunikace. To je zásadní pro rozsáhlé modely AI, které se často spoléhají na distribuovaná nastavení výpočtu [3].
4. jemnozrnná kvantizace: DeepSeek-V3 využívá jemnozrnnou kvantizační strategii k řešení problémů, které představuje omezený dynamický rozsah FP8. To zahrnuje seskupování prvků do menších dlaždic nebo bloků a jejich škálování nezávisle, což pomáhá při lepší manipulaci s odlehlými hodnotami a udržování numerické stability [1] [2].
5. Zvýšená přesnost akumulace: Pro zmírnění chyb způsobených omezenou akumulací bitové šířky v tenzorových jádrech, DeepSeek-V3 podporuje částečné výsledky registrů FP32 ve specifických intervalech během akumulace. To zvyšuje přesnost operací FP8 GEMM a zajišťuje, že výhody FP8 jsou realizovány bez ohrožení přesnosti [1].
6. Sjednocený formát E4M3: Na rozdíl od předchozích přístupů, které používaly hybridní formáty FP8, DeepSeek-V3 přijímá formát E4M3 všeobecně. To je usnadněno jeho jemnozrnnou kvantizační strategií, která účinně sdílí bity exponentů mezi seskupené prvky, zjednodušuje rámec a zlepšuje přesnost [1].
7. Online kvantizace: Model vypočítá dynamicky škálovací faktory pro každou aktivační dlaždici nebo blok hmotnosti během tréninku, což eliminuje potřebu zpožděných kvantizačních metod. To zjednodušuje rámec a zlepšuje přesnost přizpůsobením se vlastnostem dat v reálném čase [1].
8. Optimalizovaná podpora knihovny: Vývoj Deepgemmu, optimalizované knihovny FP8 GEMM, dále zvyšuje účinnost operací FP8 v DeepSeek-V3. Deepgemm podporuje husté i MOE architektury a zajišťuje efektivní výpočty matice, které jsou rozhodující pro rozsáhlé modely AI [4] [7]. Využívá kompilaci a jemnozrnné škálování jit-time (JIT) k udržení výpočetní účinnosti a zároveň minimalizuje přesnost ztráty [4] [5].
Citace:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://machineearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://blog.aitoolhouse.com/deepseek-ai-releases-deeepgemm-an-optimized-fp8-gemm-library- for-huse-and-moe- computation/
[5] https://www.reddit.com/r/localllama/comments/1iybcnl/deepseek_realse_3th_bomb_deepgemm_a_library_for/
[6] https://arxiv.org/html/2503.09975v1
[7] https://digialps.com/deepseek-ai-drops-deeepgemm-an-fp8-gemm-library-that-powers-v3-and-ai-models/
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722