Deepseek-V3: n hienostuneella monen pään piilevällä huomio (MLA) -mekanismilla on ratkaiseva rooli muistin kasvun hallinnassa vähentämällä merkittävästi muistivaatimuksia mallin päätelmäprosessin aikana. Näin se myötävaikuttaa muistin tehokkuuteen:
1. Dynaaminen matala-alueen projektio: MLA säätää avain/arvovektoreiden pakkauksen sekvenssin pituuden perusteella. Lyhyempien sekvenssien kannalta levitetään vähemmän pakkausta uskollisuuden säilyttämiseen, kun taas pidemmillä sekvensseillä (jopa 128K: n rahakkeilla) syvempää pakkausta käytetään muistin kasvun hallintaan. Tämä adaptiivinen lähestymistapa varmistaa, että muistin käyttö pysyy hallittavissa jopa erittäin pitkillä syöttöjaksoilla [2] [3].
2. Adaptiivinen kyselyn pakkaus: Toisin kuin Deepseek-V2, jossa käytettiin kiinteää ulottuvuutta kyselyjen puristukseen, Deepseek-V3 käyttää kyselyjen mukautuvaa skaalausta eri kerroksen syvyyksillä. Varhaiset kerrokset käyttävät korkeamman ulottuvuuden kyselyitä paremman ilmaisun saavuttamiseksi, kun taas syvemmät kerrokset puristavat aggressiivisempia kyselyjä aktivointimuistin säästämiseksi. Tämä strategia optimoi muistin käytön tasapainottamalla ilmaisemista tehokkuudella [2] [3].
3. Parannettu köysikäsittely: DeepSek-V3 laajentaa kaatamisnäppäimien käsitettä, joka toteutettiin osittain V2: ssä. Seurataan "Discpayed jaetun avaimen", malli vähentää numeerista ajautumista pitkien sukupolvien aikana varmistaen vakaan suorituskyvyn pidennettyjen sekvenssien kanssa [2].
4. Yhteinen KV -varastointi: Toisin kuin V2, joka tallennettiin painetut avaimet ja arvot erikseen, V3 yhdistää ne jaettuun pakattuun esitykseen. Tämä vähentää muistiliikennettä monisolmujen päätelmien aikana parantaen edelleen muistin tehokkuutta [2].
5. Kerrosviivainen adaptiivinen välimuisti: Kaikkien kerrosten menneiden rahakkeiden välimuistien sijasta V3-luumu vanhemmat KV-merkinnät syvemmissä kerroksissa. Tämä auttaa ylläpitämään muistin käyttöä hallittavissa olevissa rajoissa käsitellessäsi suuria kontekstiikkunoita [2].
Toteuttamalla nämä tarkennukset MLA vähentää merkittävästi Deepseek-V3: n muistijalanjälkeä, jolloin se pystyy käsittelemään pitkiä sekvenssejä tehokkaasti vaarantamatta suorituskykyä. Tämä saavutetaan puristamalla avainarvoparit piileviksi vektoreiksi, mikä vähentää tallennettavien ja käsiteltävän tiedon määrää, nopeuttaen siten päätelmiä ja parantamalla reaaliaikaisia sovellusominaisuuksia [3] [5] [8].
Viittaukset:
.
[2] https://martinfowler.com/articles/deepseek-pappers.html
.
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
.
[6] https://www.byteplus.com/en/topic/382517
.
.