Mechanizmus rafinovanej viacnásobnej latentnej pozornosti (MLA) v DeepSEEK-V3 hrá rozhodujúcu úlohu pri riadení rastu pamäte výrazným znížením požiadaviek na pamäť počas inferenčného procesu modelu. Takto to prispieva k efektívnosti pamäte:
1. Dynamická nízka hodnota projekcie: MLA upravuje kompresiu vektorov kľúča/hodnoty na základe dĺžky sekvencie. V prípade kratších sekvencií sa na zachovanie vernosti používa menšia kompresia, zatiaľ čo pre dlhšie sekvencie (až do 128 000 žetónov) sa na zvládanie rastu pamäte používa hlbšia kompresia. Tento adaptívny prístup zaisťuje, že využitie pamäte zostáva zvládnuteľné aj pri veľmi dlhých vstupných sekvenciách [2] [3].
2. Kompresia adaptívneho dopytu: Na rozdiel od Deepseek-V2, ktorý používal pevnú dimenziu na kompresiu dotazu, Deepseek-V3 používa adaptívne škálovanie dopytov v rôznych hĺbkach vrstvy. Včasné vrstvy používajú vyššie dimenzionálne otázky pre lepšiu expresivitu, zatiaľ čo hlbšie vrstvy agresívnejšie komprimujú dotazy na uloženie aktivačnej pamäte. Táto stratégia optimalizuje využitie pamäte vyvážením expresivity s účinnosťou [2] [3].
3. Vylepšené manipulácie s lanami: Deepseek-V3 rozširuje koncept kľúča od oddelenia, ktorý bol čiastočne implementovaný vo V2. Sledovaním „oddeleného zdieľaného kľúča“, model znižuje numerický posun v dlhých generáciách, čím sa zabezpečí stabilný výkon v predĺžených sekvenciách [2].
4. Skladovanie spoločného KV: Na rozdiel od V2, ktoré uložili komprimované kľúče a hodnoty osobitne, V3 ich spája do zdieľanej komprimovanej reprezentácie. Tým sa znižuje prenos pamäte počas inferencie s viacerými uzlami, čím sa ďalej zvyšuje účinnosť pamäte [2].
5. Vrstva adaptívna vyrovnávacia pamäť: Namiesto ukladania do vyrovnávacej pamäte všetky minulé tokeny pre všetky vrstvy preruší V3 Staršie záznamy KV v hlbších vrstvách. Pomáha to udržiavať využitie pamäte v rámci zvládnuteľných limitov pri riešení veľkých kontextových okien [2].
Implementáciou týchto vylepšení MLA významne znižuje pamäťovú stopu Deepseek-V3, vďaka čomu je schopná efektívne zvládnuť dlhé sekvencie bez toho, aby sa znížila výkonnosť. Dosahuje sa to komprimovaním párov kľúčovej hodnoty do latentných vektorov, čo znižuje množstvo údajov, ktoré je potrebné uložiť a spracovať, čím sa zrýchľuje odvodenie a zlepšuje schopnosti aplikácie v reálnom čase [3] [5] [8].
Citácie:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-Valleys-inging-crazy-how-wow-deepseek
[4] https://machinearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-thay-aached-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-on-a-lot-lolessand-and-cripled-hardware/
[8] https://618media.com/en/blog/top-5-features-of-deepseek-v3-youšould-know/