Uporaba FP8 (8-bitna plavajoča točka) za operacije splošnega množenja matrice (GEMM) v Deepseek-V3 ponuja več pomembnih prednosti, predvsem v smislu računske učinkovitosti in prihrankov pomnilnika. Tu so podrobne prednosti:
1. Izračunana učinkovitost: Operacije FP8 zagotavljajo znatno povečanje računske hitrosti v primerjavi s tradicionalnimi operacijami FP16 ali FP32. Konkretno, NVIDIA-jeva tenzorska jedra lahko izvajajo operacije GEMM FP8 pri dvakratni hitrosti FP16, kar pospešuje celoten postopek treninga velikih modelov, kot je Deepseek-V3 [3] [4].
2. Prihranki pomnilnika: Uporaba FP8 zmanjšuje zahteve pomnilnika za polovico v primerjavi z BF16, kar omogoča, da se večji in globlji modeli trenirajo v enakih strojnih omejitvah. To je še posebej koristno za modele, ki zahtevajo obsežne pomnilniške vire, kar omogoča razvijanje bolj zapletenih modelov, ne da bi potrebovali dodatno strojno opremo [3] [6].
3. Učinkovita komunikacija: FP8 v porazdeljenih vadbenih okoljih zmanjšuje pasovno širino, potrebno za prenos podatkov med GPU -ji, kar izboljša učinkovitost sinhronizacije in zmanjša komunikacijo nad glavo. To je ključnega pomena za obsežne modele AI, ki se pogosto zanašajo na porazdeljene računalniške nastavitve [3].
4. finozrnata kvantizacija: Deepseek-V3 uporablja finozrnate strategije kvantizacije za reševanje izzivov, ki jih predstavlja omejen dinamični razpon FP8. To vključuje razvrščanje elementov v manjše ploščice ali bloke in jih samostojno skaliranje, kar pomaga pri boljšem ravnanju z odpuščenimi in ohranjanju numerične stabilnosti [1] [2].
5. Povečana natančnost akumulacije: za ublažitev napak, ki jih povzroča omejeno kopičenje bitne širine v tenzorskih jedrih, Deepseek-V3 spodbuja delne rezultate v registrih FP32 v določenih intervalih med kopičenjem. To izboljšuje natančnost operacij FP8 GEMM in zagotavlja, da se koristi FP8 uresničijo brez ogrožanja natančnosti [1].
6. Unified E4M3 Format: Za razliko od prejšnjih pristopov, ki so uporabljali hibridne formate FP8, Deepseek-V3 na splošno sprejme format E4M3. To olajša njegova finozrnata strategija kvantizacije, ki učinkovito deli bite eksponentov med združenimi elementi, kar poenostavi okvir in izboljšuje natančnost [1].
7. Spletna kvantizacija: Model dinamično izračuna faktorje skaliranja za vsako aktivacijsko ploščico ali blok teže med treningom, kar odpravi potrebo po zakasnjenih metodah kvantizacije. To poenostavi okvir in izboljša natančnost s prilagajanjem značilnosti podatkov v realnem času [1].
8. Optimizirana podpora knjižnice: Razvoj DeepGemma, optimizirane knjižnice FP8 GEMM, še poveča učinkovitost operacij FP8 v Deepseek-V3. DeepGemm podpira tako goste kot MO arhitekture, kar zagotavlja učinkovite izračune matrike, ki so kritični za obsežne AI modele [4] [7]. Za ohranjanje računske učinkovitosti uporablja samo-čas (JIT) in finozrnato skaliranje, hkrati pa zmanjšuje izgubo natančnosti [4] [5].
Navedbe:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://machinelearnAtscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://blog.aitoolhouse.com/deepseek-ai-releases-deepgemm-an-optimized-fp8-gemm-library-for-ense-and-moe-computation/
[5] https://www.reddit.com/r/localllama/comments/1iybcnl/deepseek_realse_3th_bomb_deepgemm_a_library_for/
[6] https://arxiv.org/html/2503.09975v1
[7] https://digialps.com/deepseek-ai-drops-deepgemm-an-fp8-gemm-library-that-powers-v3-and-r1-ai-models/
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722