FP8-Präzision spielt eine entscheidende Rolle im Trainingsprozess von Deepseek-V3, wodurch die Effizienz erheblich verbessert und die Rechenkosten gesenkt werden. Hier ist eine detaillierte Erklärung seiner Rolle:
Einführung in die FP8 -Präzision
FP8 ist ein 8-Bit-Schwimmpunktformat, das eine kompaktere Darstellung im Vergleich zu herkömmlichen 16-Bit- oder 32-Bit-Formaten bietet. Diese Kompaktheit führt zu einer reduzierten Speicherverwendung und einer schnelleren Berechnung, was sie ideal für ein großflächiges KI-Modelltraining wie Deepseek-V3 [3] [5].
gemischtes Präzisions -Framework
Deepseek-V3 verwendet ein gemischtes Präzisionsgerüst, in dem verschiedene Teile des Modells unterschiedliche Genauigkeitsebenen verwenden. Die meisten rechenintensiven Operationen wie die allgemeine Matrix-Multiplikation (GEMM) werden in FP8 durchgeführt, um Geschwindigkeit und Speicherverbrauch zu optimieren. Bestimmte Operationen, die eine höhere Präzision erfordern, wie das Einbettungsmodul, Ausgangskopf, MOE -Gating -Module, Normalisierungsoperatoren und Aufmerksamkeitsoperatoren, werden in höheren Präzisionsformaten (FP16 oder FP32) gehalten, um die Genauigkeit aufrechtzuerhalten [1] [5].
feinkörnige Quantisierung
Um die Herausforderungen des begrenzten Dynamikbereichs von FP8 zu bewältigen, führt Deepseek-V3 eine feinkörnige Quantisierungsstrategie vor. Dies beinhaltet die Gruppierung von Aktivierungen in 1x128 Fliesen und Gewichte in 128x128 -Blöcke, die jeweils unabhängig skaliert sind. Dieser Ansatz verhindert, dass Extremwerte den gesamten Tensor verzerren, die Quantisierungsfehler verringern und die Modellgenauigkeit aufrechterhalten [1] [5].
Online -Quantisierung
Deepseek-V3 verwendet die Online-Quantisierung, wobei Skalierungsfaktoren für jede Aktivierungszyfliege oder jeden Aktivierungsblock während des Trainings dynamisch berechnet werden. Dies beseitigt die Notwendigkeit verzögerter Quantisierungsmethoden, die auf historischen Maximumwerten beruhen, das Gerüst vereinfachen und die Genauigkeit verbessern [1] [5].
Erhöhte Akkumulationsgenauigkeit
Um Fehler zu mildern, die durch die begrenzte Akkumulationspräzision von FP8 in Tensorkern verursacht werden, fördert Deepseek-V3 in bestimmten Intervallen während der GEMM-Operationen Teilergebnisse für FP32-Register. Dies stellt sicher, dass die Akkumulation kleiner Fehler minimiert wird und die Gesamtgenauigkeit des Modells beibehält [1] [5].
Unified E4m3 Format
Im Gegensatz zu früheren Frameworks, die hybride FP8-Formate verwendeten (z. B. E4m3 für den Vorwärtspass und E5M2 für den Rückwärtspass), nimmt Deepseek-V3 das E4M3-Format allgemein an. Dies wird durch seine feinkörnige Quantisierungsstrategie ermöglicht, die die Exponentenbits zwischen gruppierten Elementen wirksam aufweist und über alle Berechnungen hinweg aufrechterhalten wird [1] [5].
Auswirkungen auf die Schulungseffizienz
Die Verwendung von FP8-Präzision beschleunigt den Trainingsprozess von Deepseek-V3 erheblich. Das Modell wurde in knapp zwei Monaten mit einem Rechenzentrum von 2048 GPUs geschult, wobei nur 2,664 Millionen H800-GPU-Stunden für die Vorausbildung und zusätzliche 0,1 Millionen GPU-Stunden für nachfolgende Stadien erforderlich waren. Diese Effizienz wird auf den reduzierten Speicherverbrauch und die erhöhte Rechengeschwindigkeit von FP8 [3] [6] zurückgeführt.
Zusammenfassend ist die FP8-Präzision in Deepseek-V3 von entscheidender Bedeutung, um eine hohe Trainingseffizienz zu erreichen und gleichzeitig die Modellgenauigkeit aufrechtzuerhalten. Es ist sorgfältig in ein gemischtes Präzisions-Framework integriert, wodurch feinkörnige Quantisierung und Online-Quantisierung eingesetzt werden, um die Einschränkungen von FP8 zu mildern.
Zitate:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-yepseek-v3?lang=en
[2] https://arxiv.org/pdf/2412.19437.pdf
[3] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[4] https://www.nextplatform.com/2025/01/27/how-did-teepseek-train-it-ai-model-on-a-lot-less-and-criptepled-hardware/
[5] https://www.linkedin.com/pulse/deepseek-v3s-y-innovations-8-bit-floating-point-fp8-qi-he-e3dgf
[6] https://huggingface.co/deepseek-ai/deepseek-v3
[7] https://martinfowler.com/articles/deepseek-papers.html
[8] https://research.colfax-intl.com/deepseek-r1-and-fp8-mixed-precision-training/