Het verfijnde multi-head latente aandacht (MLA) -mechanisme in Deepseek-V3 speelt een cruciale rol bij het beheren van geheugengroei door de geheugenvereisten tijdens het inferentieproces van het model aanzienlijk te verminderen. Dit is hoe het bijdraagt aan geheugenefficiëntie:
1. Dynamische projectie met lage rang: MLA past de compressie van sleutel/waarde-vectoren aan op basis van sequentielengte. Voor kortere sequenties wordt minder compressie toegepast om betrouwbaarheid te behouden, terwijl voor langere sequenties (tot 128K tokens) een diepere compressie wordt gebruikt om geheugengroei te beheren. Deze adaptieve aanpak zorgt ervoor dat het geheugengebruik beheersbaar blijft, zelfs met zeer lange invoersequenties [2] [3].
2. Adaptieve querycompressie: in tegenstelling tot Deepseek-V2, die een vaste dimensie gebruikte voor querycompressie, maakt Deepseek-V3 gebruik van adaptieve schaling van query's op verschillende laagdiepten. Vroege lagen gebruiken hogere dimensionale vragen voor een betere expressiviteit, terwijl diepere lagen agressiever query's comprimeren om activeringsgeheugen te redden. Deze strategie optimaliseert het geheugengebruik door expressiviteit in evenwicht te brengen met efficiëntie [2] [3].
3. Verbeterde touwbehandeling: Deepseek-V3 breidt het concept van ontkoppelingsleutels uit, dat gedeeltelijk werd geïmplementeerd in V2. Door een "ontkoppelde gedeelde sleutel" bij te houden, vermindert het model de numerieke drift in lange generaties, waardoor stabiele prestaties worden gewaarborgd over uitgebreide sequenties [2].
4. Gezamenlijke KV -opslag: in tegenstelling tot V2, die gecomprimeerde toetsen en waarden afzonderlijk bewaarde, gaat V3 ze samen in een gedeelde gecomprimeerde weergave. Dit vermindert geheugenverkeer tijdens multi-knooppunten, waardoor de geheugenefficiëntie verder wordt verbeterd [2].
5. Laaggewijze adaptieve cache: in plaats van alle eerdere tokens voor alle lagen te cachen, snoeit V3 oudere KV-inzendingen in diepere lagen. Dit helpt bij het handhaven van geheugengebruik binnen beheersbare limieten bij het omgaan met grote contextvensters [2].
Door deze verfijningen te implementeren, vermindert MLA de geheugenvoetafdruk van DeepSeek-V3 aanzienlijk, waardoor het in staat is om lange sequenties efficiënt af te handelen zonder de prestaties in gevaar te brengen. Dit wordt bereikt door sleutelwaardeparen te comprimeren in latente vectoren, die de hoeveelheid gegevens die moeten worden opgeslagen en verwerkt, vermindert, waardoor de gevolgtrekking wordt versneld en realtime applicatiescapaciteiten wordt verbeterd [3] [5] [8].
Citaten:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-age-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-they-achieved-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-it-it-ai-model-on-a-lot-less-and-criptie-hardware/
[8] https://618media.com/en/blog/top-5-features-of-deepseek-v3-you-schould-know/