Presnosť FP8 hrá rozhodujúcu úlohu v tréningovom procese Deepseek-V3, čo výrazne zvyšuje účinnosť a znižuje výpočtové náklady. Tu je podrobné vysvetlenie jeho úlohy:
Úvod do presnosti FP8
FP8 je 8-bitový formát pohyblivého bodu, ktorý ponúka kompaktnejšiu reprezentáciu v porovnaní s tradičnými 16-bitovými alebo 32-bitovými formátmi. Táto kompaktnosť vedie k zníženiu využitia pamäte a rýchlejšiemu výpočtu, vďaka čomu je ideálny pre rozsiahly výcvik modelu AI, ako je Deepseek-V3 [3] [5].
Zmiešaný presný rámec
Deepseek-V3 využíva zmiešaný presný rámec, kde rôzne časti modelu používajú rôzne úrovne presnosti. Väčšina operácií náročných na výpočet, ako napríklad všeobecné násobenie matíc (GEMM), sa vykonáva v FP8 na optimalizáciu rýchlosti a využívania pamäte. Určité operácie, ktoré si vyžadujú vyššiu presnosť, ako napríklad modul vkladania, výstupná hlava, moduly MOE hradlovania, operátory normalizácie a operátory pozornosti, sa však udržiavajú vo formáte s vyššou presnosťou (FP16 alebo FP32), aby sa udržala presnosť [1].
jemnozrnná kvantizácia
Na riešenie problémov obmedzeného dynamického rozsahu FP8, DeepSEEK-V3 predstavuje jemnozrnnú kvantizačnú stratégiu. Zahŕňa to zoskupenie aktivácií do dlaždíc 1x128 a hmotnosti do blokov 128x128, z ktorých každá je zmenená nezávisle. Tento prístup bráni extrémnym hodnotám skresliť celý tenzor, znižovať chyby kvantizácie a udržiavanie presnosti modelu [1] [5].
online kvantizácia
Deepseek-V3 používa kvantizáciu online, kde sa škálovacie faktory dynamicky vypočítajú pre každú aktivačnú dlaždicu alebo váhový blok počas tréningu. To eliminuje potrebu oneskorených kvantizačných metód, ktoré sa spoliehajú na historické maximálne hodnoty, zjednodušuje rámec a zlepšujú presnosť [1] [5].
Zvýšená presnosť akumulácie
Na zmiernenie chýb spôsobených obmedzenou presnosťou akumulácie FP8 v tenzorových jadrách podporuje Deepseek-V3 čiastočné výsledky do registrov FP32 v konkrétnych intervaloch počas operácií GEMM. To zaisťuje, že akumulácia malých chýb je minimalizovaná, čím sa zachováva celková presnosť modelu [1] [5].
Unified E4M3 formát
Na rozdiel od predchádzajúcich rámcov, ktoré používali hybridné formáty FP8 (napr. E4M3 pre Forward Pass a E5M2 pre spätný priechod), Deepseek-V3 všeobecne prijíma formát E4M3. To je možné jeho jemnozrnnou kvantizačnou stratégiou, ktorá účinne zdieľa exponenty bity medzi zoskupenými prvkami, čím sa zachováva presnosť vo všetkých výpočtoch [1] [5].
Vplyv na efektívnosť tréningu
Použitie presnosti FP8 významne urýchľuje tréningový proces Deepseek-V3. Model bol trénovaný pomocou dátového centra s 2048 GPU za asi dva mesiace, čo vyžadovalo iba 2,664 milióna H800 GPU hodiny na predškolské vzdelávanie a ďalšie 0,1 milióna hodín GPU pre následné fázy. Táto účinnosť sa pripisuje zníženej spotrebe pamäte a zvýšenej výpočtovej rýchlosti ponúkanej FP8 [3] [6].
Stručne povedané, presnosť FP8 v Deepseek-V3 je rozhodujúca pre dosiahnutie vysokej účinnosti tréningu pri zachovaní presnosti modelu. Je starostlivo integrovaný do zmiešaného presného rámca, ktorý využíva jemnozrnnú kvantizáciu a kvantizáciu online na zmiernenie obmedzení FP8.
Citácie:
[1] https://community.aws/content/2rjj1wkztsfywvfSiibHwxeqmf1/four-unique-takaways-from-from-deepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-on-a-lot-lolessand-and-cripled-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floaing-point-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colx-intl.com/deepseek-r1-and-fp8-mixed-precision-training/