FP8: n (8-bittisen liukulukupiste) käyttö DeepSek-V3: n yleiseen matriisin kertolaskuon (GEMM) -toiminnoissa tarjoaa useita merkittäviä etuja, pääasiassa laskennallisen tehokkuuden ja muistinsäästöjen suhteen. Tässä ovat yksityiskohtaiset edut:
1. Laskkeen tehokkuus: FP8 -toiminnot lisäävät huomattavan laskennallisen nopeuden lisääntymisen verrattuna perinteisiin FP16- tai FP32 -toimintoihin. Erityisesti NVIDIA: n tensorisydämet voivat suorittaa FP8 GEMM -operaatioita kaksinkertaisella FP16: n nopeudella, mikä kiihdyttää suurten mallien, kuten Deepseek-V3: n, yleistä koulutusprosessia [3] [4].
2. Muistin säästöt: FP8: n käyttäminen vähentää muistivaatimuksia puolella verrattuna BF16: een, mikä mahdollistaa suuremmat ja syvemmat mallit kouluttaa samoissa laitteistorajoituksissa. Tämä on erityisen hyödyllistä malleille, jotka vaativat laajoja muistiresursseja, mikä mahdollistaa monimutkaisempien mallien kehittämisen tarvitsematta lisälaitteita [3] [6].
3. Tehokas viestintä: Hajautetuissa koulutusympäristöissä FP8 vähentää tiedonsiirtoon tarvittavaa kaistanleveyttä GPU: n välillä, mikä parantaa synkronointitehokkuutta ja vähentää viestinnän yleiskustannuksia. Tämä on ratkaisevan tärkeä laajamittaisille AI-malleille, jotka luottavat usein hajautettuihin tietojenkäsittelyasetuksiin [3].
4. Hienoviljelevä kvantisointi: DeepSeek-V3 käyttää hienorakeista kvantisointistrategiaa FP8: n rajoitetun dynaamisen alueen aiheuttamiin haasteisiin. Tähän sisältyy elementtien ryhmittely pienempiin laattoihin tai lohkoihin ja skaalaamaan ne itsenäisesti, mikä auttaa parantamaan poikkeavuuksia ja ylläpitämään numeerista vakautta [1] [2].
5. Lisääntynyt kertymisen tarkkuus: Tensorin ytimien rajoitetun bitin leveyden kertymisen aiheuttamien virheiden lieventämiseksi Deepseek-V3 edistää FP32-rekistereiden osittaisia tuloksia tietyin väliajoin kertymisen aikana. Tämä parantaa FP8 GEMM -operaatioiden tarkkuutta varmistaen, että FP8: n edut toteutuvat vaarantamatta tarkkuutta [1].
6. Yhtenäinen E4M3-muoto: Toisin kuin aiemmissa lähestymistavoissa, joissa käytettiin hybridi-FP8-muotoja, DeepSeek-V3 omaksuu E4M3-muodon yleisesti. Tätä helpottaa sen hienorakeinen kvantisointistrategia, jolla on tehokkaasti eksponenttibittejä ryhmiteltyjen elementtien keskuudessa, yksinkertaistaen kehystä ja parantavat tarkkuutta [1].
7. Online -kvantisointi: Malli laskee skaalauskertoimet dynaamisesti jokaiselle aktivointilaatalle tai painohalkolle harjoituksen aikana, poistaen viivästyneiden kvantisointimenetelmien tarpeen. Tämä yksinkertaistaa kehystä ja parantaa tarkkuutta sopeutumalla reaaliaikaisten tietoominaisuuksiin [1].
8. Optimoitu kirjastotuki: Deepgemmin, optimoidun FP8 GEMM -kirjaston kehitys parantaa edelleen FP8-toimintojen tehokkuutta Deepseek-V3: ssa. Deepgemm tukee sekä tiheitä että MOE-arkkitehtuureja, mikä varmistaa tehokkaat matriisilaskelmat, jotka ovat kriittisiä suurten AI-malleille [4] [7]. Siinä hyödynnetään ime-ajan (JIT) -kokoonpanoa ja hienorakeista skaalausta laskennallisen tehokkuuden ylläpitämiseksi ja minimoimalla tarkkuushäviöt [4] [5].
Viittaukset:
[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[3] https://fireworks.ai/blog/deepseek-model-architecture
.
.
[6] https://arxiv.org/html/2503.09975v1
.
[8] https://arxiv.org/pdf/2412.19437.pdf
[9] https://www.aibase.com/news/15722