Rafinovaný mechanismus více hlavy latentní pozornosti (MLA) v DeepSeek-V3 hraje klíčovou roli při řízení růstu paměti významným snížením požadavků na paměť během inferenčního procesu modelu. Zde je návod, jak to přispívá k účinnosti paměti:
1. Dynamická projekce nízkého hodnocení: MLA upravuje kompresi vektorů klíčů/hodnot na základě délky sekvence. U kratších sekvencí se pro zachování věrnosti aplikuje menší komprese, zatímco pro delší sekvence (až 128 tisíc tokenů) se pro řízení růstu paměti používá hlubší komprese. Tento adaptivní přístup zajišťuje, že využití paměti zůstává zvládnutelné i při velmi dlouhých vstupních sekvencích [2] [3].
2. adaptivní komprese dotazu: Na rozdíl od DeepSeek-V2, která použila pevnou dimenzi pro kompresi dotazů, DeepSeek-V3 využívá adaptivní škálování dotazů v různých hloubkách vrstvy. Časné vrstvy používají vyšší dimenzionální dotazy pro lepší expresivitu, zatímco hlubší vrstvy agresivněji komprimují dotazy pro záchranu aktivační paměti. Tato strategie optimalizuje využití paměti vyvážením expresivity s účinností [2] [3].
3. Zlepšené manipulace s lanem: DeepSeek-V3 rozšiřuje koncept klíčů oddělení, který byl částečně implementován ve V2. Sledováním „odděleného sdíleného klíče“ model snižuje numerický drift v dlouhých generacích a zajišťuje stabilní výkon v rozšířených sekvencích [2].
4. KONET KV Storage: Na rozdíl od V2, který ukládal komprimované klíče a hodnoty samostatně, je V3 sloučí do sdílené komprimované reprezentace. To snižuje provoz paměti během inference s více uzly, což dále zvyšuje účinnost paměti [2].
5. Adaptivní mezipaměť vrstvy: Místo ukládání do mezipaměti všech minulých tokenů pro všechny vrstvy, v3 švestky starší položky KV v hlubších vrstvách. To pomáhá udržovat využití paměti v rámci zvládnutelných limitů při jednání s velkými kontextovými okny [2].
Implementací těchto upřesnění MLA významně snižuje paměťovou stopu DeepSeek-V3, takže je schopna efektivně manipulovat s dlouhými sekvencemi bez ohrožení výkonu. Toho je dosaženo komprimováním párů klíčových hodnot do latentních vektorů, což snižuje množství dat, které je třeba uložit a zpracovat, čímž se zrychluje inference a zvyšováním možností aplikace v reálném čase [3] [5] [8].
Citace:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-alleys-inging-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.pplaineNglish.io/deepseek-v3-how-they-aChised-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-tsait-it-ai-model-on-lot-dles-and-crippled-hardware/
[8] https://618media.com/en/blog/top-5-features-of-deeepseek-v3-you-should-now/