Precision FP8 ima ključno vlogo v procesu usposabljanja Deepseek-V3, kar znatno poveča učinkovitost in zmanjšuje računske stroške. Tu je podrobna razlaga njegove vloge:
Uvod v natančnost FP8
FP8 je 8-bitni format s plavajočo točko, ki ponuja bolj kompaktno predstavitev v primerjavi s tradicionalnimi 16-bitnimi ali 32-bitnimi oblikami. Ta kompaktnost ima za posledico zmanjšano porabo pomnilnika in hitrejše izračunavanje, zaradi česar je idealen za obsežni AI modelni trening, kot je Deepseek-V3 [3] [5].
Mešana natančna okvir
Deepseek-V3 uporablja mešani natančni okvir, kjer različni deli modela uporabljajo različne ravni natančnosti. Večina računalniško intenzivnih operacij, kot je splošno množenje matrice (GEMM), se izvaja v FP8 za optimizacijo hitrosti in porabe pomnilnika. Vendar pa se nekatere operacije, ki zahtevajo večjo natančnost, kot so vgradni modul, izhodna glava, mode modulov, operaterji normalizacije in operaterji pozornosti, ohranjajo v višjih oblikah natančnosti (FP16 ali FP32), da ohranijo natančnost [1] [5].
Finozrnata kvantizacija
Za reševanje izzivov omejenega dinamičnega območja FP8 Deepseek-V3 uvaja finozrnate strategije kvantizacije. To vključuje razvrščanje aktivacij v 1x128 ploščice in uteži v 128x128 blokov, vsaka pa je bila neodvisno spremenjena. Ta pristop preprečuje, da bi ekstremne vrednosti izkrivljali celoten tenzor, zmanjšali napake kvantizacije in ohranili natančnost modela [1] [5].
Spletna kvantizacija
Deepseek-V3 uporablja spletno kvantizacijo, kjer se faktorji skaliranja med treningom dinamično izračunajo za vsako aktivacijsko ploščico ali blok teže. To odpravlja potrebo po zapozneli metodi kvantizacije, ki se opirajo na zgodovinske največje vrednosti, poenostavijo okvir in izboljšajo natančnost [1] [5].
Povečana natančnost akumulacije
Za zmanjšanje napak, ki jih povzroča omejena natančnost kopičenja FP8 v tenzorskih jedrih, Deepseek-V3 spodbuja delne rezultate v registrih FP32 v določenih intervalih med operacijami GEMM. To zagotavlja, da je kopičenje majhnih napak zmanjšano, kar ohranja splošno natančnost modela [1] [5].
Unified E4M3 format
Za razliko od prejšnjih okvirov, ki so uporabljali hibridne formate FP8 (npr. E4M3 za prehod naprej in E5M2 za zaostali prehod), Deepseek-V3 splošno sprejme format E4M3. To omogoča svojo finozrnate strategije kvantizacije, ki dejansko deli bite eksponentov med združenimi elementi in ohranja natančnost v vseh izračunih [1] [5].
Vpliv na učinkovitost treninga
Uporaba natančnosti FP8 znatno pospeši proces treninga Deepseek-V3. Model je bil v približno dveh mesecih usposobljen s podatkovnim centrom 2048 GPU-jev, kar je zahtevalo le 2,664 milijona ur H800 GPU za pred-usposabljanje in dodatnih 0,1 milijona ur GPU za naslednje faze. Ta učinkovitost je pripisana zmanjšani porabi pomnilnika in povečani računski hitrosti, ki jo ponuja FP8 [3] [6].
Če povzamemo, je natančnost FP8 v Deepseek-V3 ključnega pomena za doseganje visoke učinkovitosti treninga, hkrati pa ohranjanje natančnosti modela. Previdno je integriran v mešani natančni okvir, ki uporablja finozrnato kvantizacijo in spletno kvantizacijo za ublažitev omejitev FP8.
Navedbe:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-and-and-cripple-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-point-fp8-Q-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-precision-training/