Användningen av FP8 (8-bitars flytande punkt) för allmän matrismultiplikation (GEMM) -operationer i Deepseek-V3 erbjuder flera betydande fördelar, främst när det gäller beräkningseffektivitet och minnesbesparingar. Här är de detaljerade fördelarna:
1. Beräkningseffektivitet: FP8 -operationer ger en betydande ökning av beräkningshastigheten jämfört med traditionella FP16- eller FP32 -operationer. Specifikt kan Nvidias tensorkärnor utföra FP8 GEMM-operationer med dubbelt så mycket som FP16, som påskyndar den övergripande träningsprocessen för storskaliga modeller som Deepseek-V3 [3] [4].
2. Minnesbesparingar: Att använda FP8 minskar minneskraven med hälften jämfört med BF16, vilket gör att större och djupare modeller kan tränas inom samma hårdvarubegränsningar. Detta är särskilt fördelaktigt för modeller som kräver omfattande minnesresurser, vilket gör att fler komplexa modeller kan utvecklas utan att behöva ytterligare hårdvara [3] [6].
3. Effektiv kommunikation: I distribuerade utbildningsmiljöer minskar FP8 den bandbredd som krävs för dataöverföring mellan GPU: er, vilket förbättrar synkroniseringseffektiviteten och minskar kommunikationskostnaden. Detta är avgörande för storskaliga AI-modeller som ofta förlitar sig på distribuerade datorinställningar [3].
4. Finkornig kvantisering: Deepseek-V3 använder en finkornig kvantiseringsstrategi för att hantera de utmaningar som FP8: s begränsade dynamiska intervall. Detta innebär att gruppera element i mindre brickor eller block och skala dem oberoende, vilket hjälper till att bättre hantera outliers och upprätthålla numerisk stabilitet [1] [2].
5. Ökad ackumuleringsprecision: För att mildra fel orsakade av den begränsade bitbreddansamlingen i tensorkärnor, främjar Deepseek-V3 partiella resultat till FP32-register med specifika intervall under ansamling. Detta förbättrar precisionen i FP8 GEMM -operationer, vilket säkerställer att fördelarna med FP8 realiseras utan att kompromissa med noggrannheten [1].
6. Unified E4M3-format: Till skillnad från tidigare tillvägagångssätt som använde hybrid FP8-format antar DeepSeek-V3 E4M3-formatet universellt. Detta underlättas av dess finkorniga kvantiseringsstrategi, som effektivt delar exponentbitar bland grupperade element, förenkla ramverket och förbättra noggrannheten [1].
7. Online -kvantisering: Modellen beräknar skalningsfaktorer dynamiskt för varje aktiveringskakel eller viktblock under träning, vilket eliminerar behovet av försenade kvantiseringsmetoder. Detta förenklar ramverket och förbättrar noggrannheten genom att anpassa sig till realtidsdataegenskaper [1].
8. Optimerat biblioteksstöd: Utvecklingen av DeepGEMM, ett optimerat FP8 GEMM-bibliotek, förbättrar ytterligare effektiviteten i FP8-operationer i Deepseek-V3. DeepGEMM stöder både täta och MOE-arkitekturer, vilket säkerställer effektiva matrisberäkningar som är kritiska för storskaliga AI-modeller [4] [7]. Den använder just-in-time (JIT) sammanställning och finkornig skalning för att upprätthålla beräkningseffektiviteten samtidigt som du minimerar precisionsförlust [4] [5].
Citeringar:
]
[2] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
]
]
[6] https://arxiv.org/html/2503.09975v1
]
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722