FP8-præcision spiller en afgørende rolle i træningsprocessen for DeepSeek-V3, hvilket forbedrer effektiviteten og reducerer beregningsomkostningerne markant. Her er en detaljeret forklaring af dens rolle:
Introduktion til FP8 Precision
FP8 er et 8-bit flydende punktformat, der tilbyder en mere kompakt repræsentation sammenlignet med traditionelle 16-bit eller 32-bit formater. Denne kompakthed resulterer i reduceret hukommelsesforbrug og hurtigere beregning, hvilket gør den ideel til storskala AI-modeltræning som DeepSeek-V3 [3] [5].
Blandet præcisionsramme
DeepSeek-V3 anvender en blandet præcisionsramme, hvor forskellige dele af modellen bruger forskellige niveauer af præcision. De fleste beregningsintensive operationer, såsom General Matrix Multiplikation (GEMM), udføres i FP8 for at optimere hastighed og hukommelsesbrug. Visse operationer, der kræver højere præcision, som indlejringsmodulet, outputhoved, MOE -gating -moduler, normaliseringsoperatører og opmærksomhedsoperatører, opbevares imidlertid i højere præcisionsformater (FP16 eller FP32) for at opretholde nøjagtighed [1] [5].
Finkornet kvantisering
For at tackle udfordringerne ved FP8s begrænsede dynamiske rækkevidde introducerer DeepSeek-V3 en finkornet kvantiseringsstrategi. Dette involverer gruppering af aktiveringer i 1x128 fliser og vægte i 128x128 blokke, hver skaleret uafhængigt. Denne tilgang forhindrer ekstreme værdier i at fordreje hele tensoren, reducere kvantiseringsfejl og opretholde modelnøjagtighed [1] [5].
Online kvantisering
DeepSeek-V3 bruger online-kvantisering, hvor skaleringsfaktorer beregnes dynamisk for hver aktiveringsfliser eller vægtblok under træning. Dette eliminerer behovet for forsinkede kvantiseringsmetoder, der er afhængige af historiske maksimale værdier, forenkler rammen og forbedrer nøjagtigheden [1] [5].
øget akkumuleringspræcision
For at afbøde fejl forårsaget af FP8s begrænsede akkumuleringspræcision i tensorkerner fremmer DeepSeek-V3 delvise resultater til FP32-registre med specifikke intervaller under GEMM-operationer. Dette sikrer, at akkumulering af små fejl minimeres, hvilket opretholder den samlede nøjagtighed af modellen [1] [5].
Unified E4M3 -format
I modsætning til tidligere rammer, der brugte hybrid FP8-formater (f.eks. E4M3 til det forreste pas og E5M2 til bagudpasningen), vedtager DeepSeek-V3 universelt E4M3-formatet. Dette muliggøres af sin finkornede kvantiseringsstrategi, der effektivt deler eksponentbits blandt grupperede elementer, der opretholder præcision på tværs af alle beregninger [1] [5].
indflydelse på træningseffektivitet
Brugen af FP8-præcision fremskynder signifikant træningsprocessen for DeepSeek-V3. Modellen blev trænet ved hjælp af et datacenter på 2048 GPU'er på lige omkring to måneder, hvilket kun krævede 2,664 millioner H800 GPU-timer til præ-træning og yderligere 0,1 millioner GPU-timer i efterfølgende faser. Denne effektivitet tilskrives det reducerede hukommelsesforbrug og øget beregningshastighed, der tilbydes af FP8 [3] [6].
Sammenfattende er FP8-præcision i DeepSeek-V3 afgørende for at opnå høj træningseffektivitet og samtidig opretholde modelnøjagtigheden. Det er omhyggeligt integreret i en blandet præcisionsramme, udnyttelse af finkornet kvantisering og online-kvantisering for at afbøde begrænsningerne i FP8.
Citater:
)
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-i-revolution
)
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-innovations-8-bit-floating-point-fp8-qi-he-e-e3dgf
[6] https://huggingface.co/deepseek-i/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-andfp8-mixed-precision-training/