Deepseek-V3 kasutab FP8 segatud täppisõpet, et märkimisväärselt parandada selle jõudlust, eriti tõhususe, kiiruse ja mälu kasutamise osas. Selles lähenemisviisis kasutab 8-bitiseid ujukoma numbreid, mis võimaldab mälu tarbimist märkimisväärselt vähendada, kui nõudeid võrreldes FP16 täpsusega võrreldes väheneb. Selle tulemusel saab Deepseek tõhusalt tegutseda vähem GPU -dega, säilitades samal ajal treeningu ajal kõrge täpsuse [1] [4] [9].
FP8 segatud täpsuse koolituse peamised mõjud
1. Suurenenud tõhusus: FP8 täpsuse võimendamisega saavutab DeepSEEK-V3 tähelepanuväärse treeningu efektiivsuse. Mudeli koolituseelne etapp nõudis ainult umbes 2,788 miljonit GPU tundi, mis tähendab umbes 5,576 miljonit dollarit oluliselt madalam kui võrreldavatel mudelitel [2] [7] [9].
2. Kiirendatud töötlemiskiirused: FP8 kasutuselevõtt võimaldab kiiremat arvutusi, vähendades töödelda andmete suurust. Seda kiirendust täiendab veelgi duurpipe algoritm, mis optimeerib torujuhtme paralleelsust, kattudes arvutamise ja kommunikatsioonifaasidega, minimeerides GPU -de jõudeolekuaega [1] [3] [7].
3. Mastaapsus: vähendatud mälujalajälg võimaldab DeepSEEK-V3-l käsitseda suuremaid andmekogumeid ja ulatuslikumaid mudeli arhitektuure, ilma et oleks vaja täiendavaid arvutuskulusid. See mastaapsus on ülioluline täiustatud keelemudelite väljatöötamisel, mis nõuavad suures koguses andmeid tõhusalt [1] [4].
4. Parandatud mudeli jõudlus: FP8 segatud täpsuse treenimise integreerimine ei kahjusta mudeli täpsust. Selle asemel suurendab see mudeli võimet genereerida sidusaid ja kontekstiliselt asjakohaseid väljundeid selliste tehnikate abil nagu multi-token ennustus (MTP), mis koolitab mudelit, et ennetada mitut märgi samaaegselt [1] [3] [9]. See võime on eriti kasulik keerukate keeleliste ülesannete ja mitmeastmeliste mõttekäikude jaoks.
Kokkuvõtlikult võib öelda, et FP8 segatud täpsuskoolitus on Deepseek-V3 arhitektuuri nurgakivi, võimaldades sellel saavutada kõrge jõudluse vähenenud ressursivajadustega, säilitades samal ajal täpsuse ja mastaapsuse erinevates rakendustes AI arengus.
Tsitaadid:]
]
[3] https://arxiv.org/html/2412.19437v1
[4] https://www.linkedin.com/pulse/deepseek-revolutioning-ai-open-ource-rusting-20-ramachandran-xakme
[5] https://huggingface.co/deepseek-ai/deepseek-v3
[6] https://arxiv.org/pdf/2412.19437.pdf
]
[8] https://stratechery.com/2025/deepseek-faq/
]
[10] https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/examples/fp8_primer.html