FP8 Precision spelar en avgörande roll i träningsprocessen för Deepseek-V3, vilket förbättrar effektiviteten avsevärt och minskar beräkningskostnaderna. Här är en detaljerad förklaring av dess roll:
Introduktion till FP8 Precision
FP8 är ett 8-bitars flytande punktformat som erbjuder en mer kompakt representation jämfört med traditionella 16-bitars eller 32-bitarsformat. Denna kompakthet resulterar i minskad minnesanvändning och snabbare beräkning, vilket gör den idealisk för storskalig AI-modellträning som Deepseek-V3 [3] [5].
Mixed Precision Framework
Deepseek-V3 använder en blandad precision, där olika delar av modellen använder olika nivåer av precision. De flesta beräkningsintensiva operationer, såsom allmän matrismultiplikation (GEMM), utförs i FP8 för att optimera hastighets- och minnesanvändningen. Vissa operationer som kräver högre precision, som inbäddningsmodulen, utgångshuvudet, MoE -grindmoduler, normaliseringsoperatörer och uppmärksamhetsoperatörer, hålls i högre precisionsformat (FP16 eller FP32) för att upprätthålla noggrannhet [1] [5].
Finkornig kvantisering
För att hantera utmaningarna med FP8: s begränsade dynamiska intervall introducerar Deepseek-V3 en finkornig kvantiseringsstrategi. Detta involverar gruppering av aktiveringar i 1x128 brickor och vikter i 128x128 block, var och en skalas oberoende. Detta tillvägagångssätt förhindrar extrema värden från att snedvrida hela tensorn, minska kvantiseringsfel och upprätthålla modellnoggrannheten [1] [5].
Online -kvantisering
Deepseek-V3 använder online-kvantisering, där skalningsfaktorer beräknas dynamiskt för varje aktiveringsplatta eller viktblock under träning. Detta eliminerar behovet av försenade kvantiseringsmetoder som förlitar sig på historiska maximivärden, förenkla ramverket och förbättra noggrannheten [1] [5].
Ökad ackumuleringsprecision
För att mildra fel orsakade av FP8: s begränsade ackumuleringsprecision i tensorkärnor, främjar Deepseek-V3 partiella resultat till FP32-register med specifika intervall under GEMM-operationer. Detta säkerställer att ackumuleringen av små fel minimeras, vilket bibehåller modellens totala noggrannhet [1] [5].
Unified E4M3 Format
Till skillnad från tidigare ramar som använde hybrid FP8-format (t.ex. E4M3 för framåtpasset och E5M2 för bakåtpasset), antar DeepSeek-V3 universellt E4M3-formatet. Detta möjliggörs av dess finkorniga kvantiseringsstrategi, som effektivt delar exponentbitar bland grupperade element och upprätthåller precision i alla beräkningar [1] [5].
Påverkan på träningseffektiviteten
Användningen av FP8-precision påskyndar avsevärt träningsprocessen för Deepseek-V3. Modellen tränades med ett datacenter på 2048 GPU: er på nästan två månader, vilket krävde endast 2,664 miljoner H800 GPU-timmar för förutbildning och ytterligare 0,1 miljoner GPU-timmar för efterföljande steg. Denna effektivitet tillskrivs den minskade minnesförbrukningen och ökad beräkningshastighet som erbjuds av FP8 [3] [6].
Sammanfattningsvis är FP8-precision i Deepseek-V3 avgörande för att uppnå hög träningseffektivitet samtidigt som modellnoggrannheten upprätthålls. Det är noggrant integrerat i ett blandat precisionsram, utnyttjar finkornig kvantisering och online-kvantisering för att mildra begränsningarna för FP8.
Citeringar:
]
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-i
[5] https://www.linkedin.com/pulse/deepseek-v3s-key-novations-8-bit-floating-point-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
]