Bruken av FP8 (8-bit flytende punkt) for generell matriksmultiplikasjon (GEMM) operasjoner i DeepSeek-V3 tilbyr flere betydelige fordeler, hovedsakelig når det gjelder beregningseffektivitet og minnesparing. Her er de detaljerte fordelene:
1. Beregningseffektivitet: FP8 -operasjoner gir en betydelig økning i beregningshastighet sammenlignet med tradisjonelle FP16- eller FP32 -operasjoner. Spesielt kan NVIDIAs tensorkjerner utføre FP8 GEMM-operasjoner med dobbelt hastighet på FP16, noe som akselererer den samlede treningsprosessen til store modeller som DeepSeek-V3 [3] [4].
2. Minnesparing: Å bruke FP8 reduserer minnekrav med halvparten sammenlignet med BF16, slik at større og dypere modeller kan trenes innenfor de samme maskinvarebegrensningene. Dette er spesielt gunstig for modeller som krever omfattende minneressurser, slik at det kan utvikles mer komplekse modeller uten å trenge ekstra maskinvare [3] [6].
3. Effektiv kommunikasjon: I distribuerte treningsmiljøer reduserer FP8 båndbredden som kreves for dataoverføring mellom GPU -er, noe som forbedrer synkroniseringseffektiviteten og reduserer kommunikasjonskostnader. Dette er avgjørende for storskala AI-modeller som ofte er avhengige av distribuerte databehandlingsoppsett [3].
4. Finkornet kvantisering: DeepSeek-V3 bruker en finkornet kvantiseringsstrategi for å møte utfordringene som FP8s begrensede dynamiske rekkevidde har fra FP8. Dette innebærer å gruppere elementer i mindre fliser eller blokker og skalere dem uavhengig, noe som hjelper til med å håndtere outliers og opprettholde numerisk stabilitet [1] [2].
5. Økt akkumuleringspresisjon: For å dempe feil forårsaket av den begrensede bitbreddeansamlingen i tensorkjerner, fremmer DeepSeek-V3 delvise resultater til FP32-registre med spesifikke intervaller under akkumulering. Dette forbedrer presisjonen til FP8 GEMM -operasjoner, og sikrer at fordelene med FP8 blir realisert uten at det går ut over nøyaktigheten [1].
6. Unified E4M3-format: I motsetning til tidligere tilnærminger som brukte hybrid FP8-formater, vedtar DeepSeek-V3 E4M3-formatet universelt. Dette tilrettelegges av dens finkornede kvantiseringsstrategi, som effektivt deler eksponentbiter blant grupperte elementer, forenkler rammen og forbedrer nøyaktigheten [1].
7. Online kvantisering: Modellen beregner skaleringsfaktorer dynamisk for hver aktiveringsflis eller vektblokk under trening, og eliminerer behovet for forsinkede kvantiseringsmetoder. Dette forenkler rammeverket og forbedrer nøyaktigheten ved å tilpasse seg i sanntids datakarakteristikker [1].
8. Optimalisert bibliotekstøtte: Utviklingen av Deepgemm, et optimalisert FP8 GEMM-bibliotek, forbedrer effektiviteten til FP8-operasjoner i DeepSeek-V3. Deepgemm støtter både tette og MOE-arkitekturer, og sikrer effektive matriksberegninger som er kritiske for storstilt AI-modeller [4] [7]. Den bruker bare-i-tid (JIT) sammenstilling og finkornet skalering for å opprettholde beregningseffektivitet mens jeg minimerer presisjonstap [4] [5].
Sitasjoner:
[1] https://community.aws/content/2rjj1wkztsfywvfsiiBhwxeqmf1/four-unique-takeaways-from-depseek-v3?lang=en
[2] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-arkitektur
[4] https://blog.aitoolhouse.com/deepseek-ai-release-depgemm-an-optimized-fp8-gemm-library-for-dens-and-moe-computation/
[5] https://www.reddit.com/r/localllama/comments/1iybcnl/deepseek_realse_3th_bomb_deepgemm_a_library_for/
[6] https://arxiv.org/html/2503.09975v1
[7] https://digialps.com/deepseek-ai-drops-depgemm-an-fp8-gemm-library-that-powers-v3-and-r1-ai-models/
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722