FP8 (8-bitise ujukoma) kasutamine maatriksi üldiseks korrutamiseks (GEMM) toiminguteks Deepseek-V3-s pakub mitmeid olulisi eeliseid, peamiselt arvutusliku tõhususe ja mälu kokkuhoiu osas. Siin on üksikasjalikud eelised:
1. Arvuta efektiivsus: FP8 toimingud annavad arvutusliku kiiruse olulise suurenemise võrreldes traditsiooniliste FP16 või FP32 toimingutega. Täpsemalt, Nvidia tensor-südamikud saavad FP8 GEMM-toiminguid teha kaks korda rohkem kui FP16, mis kiirendab suuremahuliste mudelite nagu DeepSEEK-V3 üldist treeningprotsessi [3] [4].
2. Mälu kokkuhoid: FP8 kasutamine vähendab mäluvajadusi poole võrreldes BF16 -ga, võimaldades suuremaid ja sügavamaid mudeleid sama riistvarapiirangute piires. See on eriti kasulik mudelitele, mis nõuavad ulatuslikke mäluressursse, võimaldades keerukamaid mudeleid välja töötada ilma täiendavat riistvara vajamata [3] [6].
3. Tõhus suhtlus: hajutatud treeningkeskkonnas vähendab FP8 GPUde vaheliseks andmete edastamiseks vajalikku ribalaiust, mis parandab sünkroonimise tõhusust ja vähendab kommunikatsiooni üldkulusid. See on ülioluline suuremahuliste AI-mudelite puhul, mis tuginevad sageli hajutatud arvutusseadetele [3].
4. peeneteraline kvantimine: Deepseek-V3 kasutab peeneteralise kvantimisstrateegiat, et käsitleda FP8 piiratud dünaamilise ulatuse esitatud väljakutseid. See hõlmab elementide rühmitamist väiksemateks plaatideks või plokkideks ja nende iseseisvalt skaleerimist, mis aitab kõrvalekaldeid paremini käsitleda ja numbrilise stabiilsuse säilitamist [1] [2].
5. Suurenenud akumuleerumise täpsus: piiratud bittilaiuse akumulatsiooni põhjustatud vigade leevendamiseks soodustab Deepseek-V3 osalisi tulemusi FP32 registritele konkreetsete intervallidega akumuleerumise ajal. See suurendab FP8 GEMM -toimingute täpsust, tagades, et FP8 eelised realiseeruvad ilma täpsust kahjustamata [1].
6. Ühendatud E4M3 vorming: erinevalt varasematest lähenemisviisidest, mis kasutasid hübriid FP8-vorminguid, võtab Deepseek-V3 kasutusele E4M3 vormingu universaalselt. Seda hõlbustab selle peeneteraline kvantimisstrateegia, mis jagab tõhusalt eksponentide bitte grupeeritud elementide vahel, lihtsustades raamistikku ja parandades täpsust [1].
7. Veebipõhine kvantifitseerimine: mudel arvutab treeningu ajal iga aktiveerimisplaadi või kaaluploki jaoks dünaamiliselt skaleerimistegurid, välistades vajaduse hilinenud kvantimismeetodite järele. See lihtsustab raamistikku ja parandab täpsust, kohanedes reaalajas andmeomadustega [1].
8. Optimeeritud raamatukogu tugi: Optimeeritud FP8 GEMM-i raamatukogu Deepgemmi arendamine suurendab veelgi FP8 toimingute tõhusust DeepSEEK-V3-s. Deepgemm toetab nii tihedaid kui ka MOE arhitektuure, tagades tõhusate maatriksi arvutused, mis on kriitilised suuremahuliste AI-mudelite jaoks [4] [7]. See kasutab arvutuslikku efektiivsust säilitamiseks just-in-time (JIT) kompileerimist ja peeneteralist skaleerimist, minimeerides samal ajal täpsuse kadu [4] [5].
Tsitaadid:
]
[2] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
]
]
[6] https://arxiv.org/html/2503.09975v1
]
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722