Vienotais E4M3 formāts DeepSEEK-V3 ievērojami veicina modeļa efektivitāti, risinot vairākus izaicinājumus, kas saistīti ar jauktu precizitātes apmācību, jo īpaši tiem, kas saistīti ar dinamisko diapazonu un precizitāti. Šeit ir detalizēts skaidrojums par to, kā šis formāts uzlabo efektivitāti:
smalkgraudainas kvantēšanas stratēģija
DeepSEEK-V3 izmanto smalkgraudainas kvantēšanas stratēģiju, kas tai ļauj efektīvi izmantot E4M3 formātu visos apmācības posmos. Atšķirībā no iepriekšējiem ietvariem, kas izmantoja hibrīdus FP8 formātus (piemēram, E4M3 priekšējai caurlaidei un E5M2 atpalikušai caurlaidei), DeepSeek-V3 pieeja nodrošina, ka aktivizēšana tiek sagrupēta un mērogota uz 1x128 flīžu bāzes, bet svars tiek samazināts uz 128x128 bloku pamata [1] [2]. Šī granularitāte palīdz labāk apstrādāt novirzes, dinamiski pielāgojot katras grupas mērogošanas faktorus, kas mazina ierobežotā dinamiskā diapazona ietekmi, kas raksturīga FP8 formātiem [3].
Dinamiskā mērogošana un tiešsaistes kvantēšana
Modelis izmanto tiešsaistes kvantizāciju, kur mērogošanas koeficienti tiek aprēķināti dinamiski katram aktivizācijas flīzes vai svara blokam apmācības laikā. Tas novērš nepieciešamību saglabāt vēsturiskas maksimālās vērtības, vienkāršot sistēmu un uzlabot precizitāti [1] [2]. Dinamiski pielāgojot šos mērogošanas faktorus, DeepSEEK-V3 var optimizēt pieejamo FP8 skaitļa attēlojuma spaiņu izmantošanu, nodrošinot, ka lielākā daļa vērtību netiek sagrupētas šaurā diapazonā, kas citādi izraisītu sliktu precizitāti mazākām vērtībām [3].
Samazināta atmiņas izmantošana un skaitļošanas izmaksas
Vienotais E4M3 formāts apvienojumā ar smalkgraudainu kvantitāti ievērojami samazina atmiņas izmantošanu. Uzglabājot aktivizācijas un optimizētāju stāvokļus zemākas precizitātes formātos (piemēram, FP8 aktivizēšanai), DeepSEEK-V3 samazina atmiņas prasības, kas ir būtiska liela mēroga modeļiem [1] [5]. Turklāt FP8 izmantošana galvenajiem aprēķiniem samazina skaitļošanas izmaksas, jo tas prasa mazāk datu apstrādes, salīdzinot ar augstākas precizitātes formātiem, piemēram, FP16 vai FP32 [5].
uzlabota skaitliskā stabilitāte
DeepSEEK-V3 pievēršas arī skaitliskā precizitātes zaudējuma jautājumam, kas saistīts ar FP8 apmācību, reklamējot daļējus rezultātus uz FP32 reģistriem ar īpašiem intervāliem uzkrāšanās laikā. Šī stratēģija mazina kļūdas, ko izraisa ierobežotā bita platuma uzkrāšanās tenzora kodolos, nodrošinot skaitlisko stabilitāti un uzticamu apmācību [1] [7].
Rezumējot, vienotais E4M3 formāts DeepSEEK-V3 uzlabo efektivitāti, ļaujot veikt smalkgraudainas kvantēšanas, dinamiskas mērogošanas, samazinātas atmiņas izmantošanas un uzlabotu skaitlisko stabilitāti. Šie jauninājumi ļauj DeepSEEK-V3 sasniegt vismodernāko sniegumu, vienlaikus optimizējot skaitļošanas resursus.
Atsauces:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-uniqueweaway
[2] https://research.meekolab.com/deepseeks-low-level-bardware-magic
[3] https://fireworks.ai/blog/deepseek-model-architecture
[4] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[5] https://cciedump.spoto.net/newblog/overview-of-deepseek-v3: latestest-depseek-technical-report.html
[6.]
.
[8] https://www.reddit.com/r/localllama/comments/1hmmtt3/deepseek_v3_is_official_releed_code_paper/