A finomított többfejű látens figyelem (MLA) mechanizmus a DeepSeek-V3-ban döntő szerepet játszik a memória növekedésének kezelésében, mivel a modell következtetési folyamatának jelentősen csökkenti a memóriaigényt. Így járul hozzá a memória hatékonyságához:
1. dinamikus alacsony rangú vetítés: Az MLA a szekvencia hossza alapján beállítja a kulcs/értékvektorok tömörítését. Rövidebb szekvenciák esetén kevesebb kompressziót alkalmaznak a hűség megőrzésére, míg a hosszabb szekvenciákhoz (legfeljebb 128K token) mélyebb tömörítést használnak a memória növekedésének kezelésére. Ez az adaptív megközelítés biztosítja, hogy a memóriafelhasználás még nagyon hosszú bemeneti szekvenciákkal is kezelhető legyen [2] [3].
2. Adaptív lekérdezés tömörítése: A DeepSeek-V2-vel ellentétben, amely rögzített dimenziót használt a lekérdezés tömörítéséhez, a DeepSeek-V3 a lekérdezések adaptív méretezését alkalmazza a különböző rétegmélységekben. A korai rétegek magasabb dimenziós lekérdezéseket használnak a jobb kifejezéshez, míg a mélyebb rétegek agresszívebben tömörítik a lekérdezéseket az aktivációs memória mentéséhez. Ez a stratégia optimalizálja a memóriafelhasználást az kifejezés és a hatékonyság kiegyensúlyozásával [2] [3].
3. továbbfejlesztett kötélkezelés: A DeepSeek-V3 kiterjeszti a kollégiumok leválasztásának fogalmát, amelyet részben a V2-ben valósítottak meg. A "szétválasztott megosztott kulcs" nyomon követésével a modell hosszú generációkban csökkenti a numerikus sodródást, biztosítva a stabil teljesítményt a kiterjesztett szekvenciákon keresztül [2].
4. ízület KV -tárolás: A V2 -től eltérően, amely külön -külön tárolta a tömörített kulcsokat és értékeket, a V3 összevonja őket egy megosztott tömörített ábrázolássá. Ez csökkenti a memóriaforgalmat a több csomópont következtetése során, tovább javítva a memória hatékonyságát [2].
5. Réteg szerint adaptív gyorsítótár: Ahelyett, hogy az összes réteget a múltbeli tokeneket tárolná, a V3 a régebbi KV bejegyzéseket mélyebb rétegeknél. Ez elősegíti a memória használatának kezelhető határokon belüli fenntartását, amikor a nagy kontextusú ablakokkal foglalkozik [2].
Ezen finomítások megvalósításával az MLA jelentősen csökkenti a mély-V3 memória lábnyomát, így képes a hosszú szekvenciák hatékony kezelésére anélkül, hogy a teljesítmény veszélyeztetné. Ezt úgy érik el, hogy a kulcs-érték párokat latens vektorokba tömörítik, ami csökkenti a tárolás és a feldolgozott adatok mennyiségét, ezáltal felgyorsítja a következtetéseket és javítja a valós idejű alkalmazási képességeket [3] [5] [8].
Idézetek:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-cray-how-deepseek
[4] https://machinelearningatcale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-they-achied-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-al-model-on-a-lot-less-llent--llent--llent--sardware/
[8] https://618media.com/en/blog/top-5-features-of-deepseek-v3-you-should-know/