A DeepSeek-V3 szakértői kiválasztási folyamatát úgy tervezték, hogy biztosítsa a feladatok kiegyensúlyozott és hatékony eloszlását a szakértők között, kihasználva a szakértői (MOE) építészet keverékét. Ez a folyamat döntő fontosságú a készségek tökéletes keverékének eléréséhez azáltal, hogy az egyes bemeneti tokenhez csak a legfontosabb szakértők dinamikus aktiválásával dinamikusan aktiváljuk.
A szakértők (MOE) építészet keveréke
A DeepSeek-V3 egy MOE architektúrát alkalmaz, amely magában foglalja a modell több szakértőre osztását, mindegyik különféle feladatokra vagy tudás területére szakosodott. A modellnek 1 megosztott szakértője és 256 irányított szakértője van, 8 által irányított szakértővel minden egyes bemeneti tokenhez aktívként választottak ki relevanciájuk alapján [1]. Ez a megközelítés lehetővé teszi a modell számára, hogy hatékonyabban dolgozzon fel a bemenetek feldolgozását azáltal, hogy a teljes paramétereknek csak egy töredékét aktiválja az egyes feladatok 671 milliárdból származó 37 milliárd dollárból [6] [7].
Szakértői kiválasztási folyamat
A DeepSeek-V3 szakértőinek kiválasztása az affinitási pontszámon alapul, amelyet a bemeneti token beágyazásának DOT-termékeként és egy adott szakértő centridjaként számítanak ki. Ez a pontszám meghatározza, hogy egy szakértő mennyire felel meg a token beviteli igényeinek [1]. A modell egy TOP-K kiválasztási stratégiát alkalmaz, ahol a legmagasabb pontszámot választják a feldolgozáshoz. Annak elkerülése érdekében, hogy az útválasztás összeomlása legyen, ahol túl sok tokent küldnek néhány szakértőnek, a DeepSeek-V3 egy segédvesztés-mentes terheléselosztási stratégiát alkalmaz.
KIEGÉSZÍTÉS VESZTÉS-mentes terhelés kiegyenlítése
Ez a stratégia magában foglalja az torzítás hozzáadását az affinitási pontszámhoz az útválasztás során. Az elfogultságot dinamikusan beállítják az egyes szakértők használata alapján. Ha egy szakértő túlterhelt, az elfogultság csökkenti a további feladatokat, míg az alulfelhasználott szakértőknek torzulása növekedett, hogy ösztönözze a nagyobb felhasználást [1] [3]. Ez a megközelítés biztosítja, hogy a munkaterhelés egyenletesen oszlik meg a szakértők között anélkül, hogy további veszteségi funkciókra lenne szükség, ami néha károsíthatja a modell teljesítményét [4].
A szakértői kiválasztási folyamat előnyei
A DeepSeek-V3 szakértői kiválasztási folyamata számos előnyt kínál:
-Hatékonyság: Csak a releváns szakértők aktiválásával a modell csökkenti a számítási költségeket, így költséghatékonyabb és energiahatékonyabbá válik [6] [9].
- Specializáció: Minden szakértő speciális feladatokra vagy tudásterületekre szakosodhat, ami a különféle bemenetek árnyaltabb és pontosabb feldolgozásához vezet [1] [9].
- Skálázhatóság: A MOE architektúrája nagyobb modelleket tesz lehetővé túlzott számítási költségek nélkül, lehetővé téve a bonyolultabb és képes AI rendszerek fejlesztését [4] [6].
Összességében a DeepSeek-V3 szakértői kiválasztási folyamata biztosítja a készségek tökéletes keverékét azáltal, hogy dinamikusan elosztja a feladatokat a speciális szakértők számára, optimalizálja a hatékonyságot és javítja a modell teljesítményét.
Idézetek:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://www.herohunt.ai/blog/deepseeks-ai-model-revolutionizing-global-recruitment
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-beenefit-mixture-experts-moe-models-qi-he-nkgbe
[5] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_IT_it_truly_better_than/
[6] https://alliedinsight.com/blog/deepseekk-technologicin-innovations-a-deep-dive-into-the-v3-model/
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-reepseek-what-does-deepseek-do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-clete-guide-to-deepseek-models-from-v3-to-r1-and-beyond