Den raffinerede multi-head latente opmærksomhedsmekanisme (MLA) i DeepSeek-V3 spiller en afgørende rolle i styring af hukommelsesvækst ved markant at reducere hukommelseskravene under modellens inferensproces. Sådan bidrager det til hukommelseseffektivitet:
1. dynamisk projektion med lav rang: MLA justerer komprimeringen af nøgle-/værdi-vektorer baseret på sekvenslængde. For kortere sekvenser anvendes mindre komprimering til at bevare troværdighed, mens der for længere sekvenser (op til 128K -tokens) bruges dybere komprimering til at styre hukommelsesvækst. Denne adaptive tilgang sikrer, at hukommelsesforbruget forbliver håndterbar, selv med meget lange inputsekvenser [2] [3].
2. Adaptiv forespørgselskomprimering: I modsætning til DeepSeek-V2, der brugte en fast dimension til forespørgselskomprimering, anvender DeepSeek-V3 adaptiv skalering af forespørgsler på forskellige lagdybder. Tidlige lag bruger højere-dimensionelle forespørgsler for bedre udtryksevne, mens dybere lag mere aggressivt komprimerer forespørgsler for at gemme aktiveringshukommelsen. Denne strategi optimerer hukommelsesforbruget ved at afbalancere udtryksevne med effektivitet [2] [3].
3. Forbedret rebhåndtering: Deepseek-V3 udvider konceptet med afkoblingstaster, som delvist blev implementeret i V2. Ved at spore en "afkoblet delt nøgle" reducerer modellen numerisk drift i lange generationer, hvilket sikrer stabil ydeevne over udvidede sekvenser [2].
4. led KV -opbevaring: I modsætning til V2, der lagrede komprimerede nøgler og værdier separat, fusionerer V3 dem til en delt komprimeret repræsentation. Dette reducerer hukommelsestrafikken under inferensen med flere noder, hvilket yderligere forbedrer hukommelseseffektiviteten [2].
5. Lagmæssigt adaptiv cache: I stedet for at cache alle fortidstokens for alle lag, svisker V3 ældre KV-poster på dybere lag. Dette hjælper med at opretholde hukommelsesbrug inden for håndterbare grænser, når man håndterer store kontekstvinduer [2].
Ved at implementere disse forbedringer reducerer MLA markant hukommelsesfodaftrykket af DeepSeek-V3, hvilket gør det i stand til at håndtere lange sekvenser effektivt uden at gå på kompromis med ydelsen. Dette opnås ved at komprimere nøgleværdipar i latente vektorer, hvilket reducerer mængden af data, der skal gemmes og behandles, hvorved der fremskyndes inferens og forbedrer realtidsapplikationsfunktioner [3] [5] [8].
Citater:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-going-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
)
[6] https://www.byteplus.com/en/topic/382517
)
)