Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon Ali lahko razložite vlogo natančnosti FP8 v procesu usposabljanja Deepseek-V3


Ali lahko razložite vlogo natančnosti FP8 v procesu usposabljanja Deepseek-V3


Precision FP8 ima ključno vlogo v procesu usposabljanja Deepseek-V3, kar znatno poveča učinkovitost in zmanjšuje računske stroške. Tu je podrobna razlaga njegove vloge:

Uvod v natančnost FP8

FP8 je 8-bitni format s plavajočo točko, ki ponuja bolj kompaktno predstavitev v primerjavi s tradicionalnimi 16-bitnimi ali 32-bitnimi oblikami. Ta kompaktnost ima za posledico zmanjšano porabo pomnilnika in hitrejše izračunavanje, zaradi česar je idealen za obsežni AI modelni trening, kot je Deepseek-V3 [3] [5].

Mešana natančna okvir

Deepseek-V3 uporablja mešani natančni okvir, kjer različni deli modela uporabljajo različne ravni natančnosti. Večina računalniško intenzivnih operacij, kot je splošno množenje matrice (GEMM), se izvaja v FP8 za optimizacijo hitrosti in porabe pomnilnika. Vendar pa se nekatere operacije, ki zahtevajo večjo natančnost, kot so vgradni modul, izhodna glava, mode modulov, operaterji normalizacije in operaterji pozornosti, ohranjajo v višjih oblikah natančnosti (FP16 ali FP32), da ohranijo natančnost [1] [5].

Finozrnata kvantizacija

Za reševanje izzivov omejenega dinamičnega območja FP8 Deepseek-V3 uvaja finozrnate strategije kvantizacije. To vključuje razvrščanje aktivacij v 1x128 ploščice in uteži v 128x128 blokov, vsaka pa je bila neodvisno spremenjena. Ta pristop preprečuje, da bi ekstremne vrednosti izkrivljali celoten tenzor, zmanjšali napake kvantizacije in ohranili natančnost modela [1] [5].

Spletna kvantizacija

Deepseek-V3 uporablja spletno kvantizacijo, kjer se faktorji skaliranja med treningom dinamično izračunajo za vsako aktivacijsko ploščico ali blok teže. To odpravlja potrebo po zapozneli metodi kvantizacije, ki se opirajo na zgodovinske največje vrednosti, poenostavijo okvir in izboljšajo natančnost [1] [5].

Povečana natančnost akumulacije

Za zmanjšanje napak, ki jih povzroča omejena natančnost kopičenja FP8 v tenzorskih jedrih, Deepseek-V3 spodbuja delne rezultate v registrih FP32 v določenih intervalih med operacijami GEMM. To zagotavlja, da je kopičenje majhnih napak zmanjšano, kar ohranja splošno natančnost modela [1] [5].

Unified E4M3 format

Za razliko od prejšnjih okvirov, ki so uporabljali hibridne formate FP8 (npr. E4M3 za prehod naprej in E5M2 za zaostali prehod), Deepseek-V3 splošno sprejme format E4M3. To omogoča svojo finozrnate strategije kvantizacije, ki dejansko deli bite eksponentov med združenimi elementi in ohranja natančnost v vseh izračunih [1] [5].

Vpliv na učinkovitost treninga

Uporaba natančnosti FP8 znatno pospeši proces treninga Deepseek-V3. Model je bil v približno dveh mesecih usposobljen s podatkovnim centrom 2048 GPU-jev, kar je zahtevalo le 2,664 milijona ur H800 GPU za pred-usposabljanje in dodatnih 0,1 milijona ur GPU za naslednje faze. Ta učinkovitost je pripisana zmanjšani porabi pomnilnika in povečani računski hitrosti, ki jo ponuja FP8 [3] [6].

Če povzamemo, je natančnost FP8 v Deepseek-V3 ključnega pomena za doseganje visoke učinkovitosti treninga, hkrati pa ohranjanje natančnosti modela. Previdno je integriran v mešani natančni okvir, ki uporablja finozrnato kvantizacijo in spletno kvantizacijo za ublažitev omejitev FP8.

Navedbe:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-and-and-cripple-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-point-fp8-Q-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-precision-training/