Az FP8 (8 bites lebegőpont) használata az általános mátrix-szorzás (GEMM) műveletekhez a DeepSeek-V3-ban számos jelentős előnyt kínál, elsősorban a számítási hatékonyság és a memóriamemória megtakarítása szempontjából. Itt vannak a részletes előnyök:
1. Számítás hatékonysága: Az FP8 műveletek jelentősen megnövelik a számítási sebességet a hagyományos FP16 vagy FP32 műveletekhez képest. Pontosabban, az NVIDIA Tenzormagjai FP8 GEMM műveleteket végezhetnek az FP16 kétszeres sebességén, ami felgyorsítja a nagyméretű modellek, például a DeepSeek-V3 [3] [4] általános képzési folyamatát.
2. Memóriamegtakarítás: Az FP8 használata a memóriaigényt felére csökkenti a BF16 -hoz képest, lehetővé téve a nagyobb és mélyebb modellek képzését ugyanazon hardver korlátozásokon belül. Ez különösen hasznos azoknál a modelleknél, amelyek kiterjedt memóriaforrásokat igényelnek, lehetővé téve a bonyolultabb modellek kidolgozását anélkül, hogy további hardverre lenne szükség [3] [6].
3. Hatékony kommunikáció: Az elosztott képzési környezetben az FP8 csökkenti a GPU -k közötti adatátvitelhez szükséges sávszélességet, amely javítja a szinkronizálási hatékonyságot és csökkenti a kommunikációt. Ez elengedhetetlen a nagyszabású AI modelleknél, amelyek gyakran az elosztott számítástechnikai beállításokra támaszkodnak [3].
4. Finom szemcsés kvantálás: A DeepSeek-V3 finom szemcsés kvantálási stratégiát alkalmaz az FP8 korlátozott dinamikus tartományának kihívásainak kezelésére. Ez magában foglalja az elemek kisebb csempe vagy blokkokba történő csoportosítását, valamint önállóan méretezését, ami elősegíti a kiugró értékek jobb kezelését és a numerikus stabilitás fenntartását [1] [2].
5. Megnövekedett felhalmozódási pontosság: A tenzormagokban a korlátozott bitszélesség-felhalmozódás által okozott hibák enyhítése érdekében a DeepSeek-V3 elősegíti az FP32 regiszterek részleges eredményeit a felhalmozódás során. Ez javítja az FP8 GEMM műveletek pontosságát, biztosítva, hogy az FP8 előnyei a pontosság veszélyeztetése nélkül megvalósuljanak [1].
6. Egységes E4M3 formátum: A hibrid FP8 formátumokat alkalmazó korábbi megközelítésekkel ellentétben a DeepSeek-V3 az E4M3 formátumot egyetemesen alkalmazza. Ezt elősegíti a finom szemcsés kvantálási stratégiája, amely hatékonyan megosztja az exponens biteket a csoportosított elemek között, egyszerűsítve a keretet és javítja a pontosságot [1].
7. Online kvantálás: A modell dinamikusan kiszámítja a skálázási tényezőket az egyes aktiválási csempe vagy súlyblokkok esetében az edzés során, kiküszöbölve a késleltetett kvantálási módszerek szükségességét. Ez egyszerűsíti a keretet és javítja a pontosságot azáltal, hogy alkalmazkodik a valós idejű adatjellemzőkhöz [1].
8. Optimalizált könyvtári támogatás: A DeepGemm, az optimalizált FP8 GEMM könyvtár fejlesztése tovább javítja az FP8 műveletek hatékonyságát a DeepSeek-V3-ban. A Deepgemm támogatja mind a sűrű, mind a MOE architektúrákat, biztosítva a hatékony mátrix számításokat, amelyek kritikusak a nagyszabású AI modellek szempontjából [4] [7]. Just-in-időben (JIT) összeállítását és finom szemcsés méretezését használja a számítási hatékonyság fenntartása érdekében, miközben minimalizálja a precíziós veszteséget [4] [5].
Idézetek:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-deepseek-v3?lang=en=en
[2] https://machinelearningatcale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://blog.aitoolhouse.com/deepseek-ai-reelase-deepgemm-an-optimized-fp8-gemm-library-for-dense-and-moe-compution/
[5] https://www.reddit.com/r/localllama/comments/1iybcnl/deepseek_realse_3th_bomb_deepgemm_a_library_for/for/for/
[6] https://arxiv.org/html/2503.09975v1
[7] https://digialps.com/deepseek-ai-drops-deepgemm-an-fp8-gemm- library-that-powers-v3-and-r1-ai-models/
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722