A DeepSeek-V3-ban az affinitási pontszám döntő szerepet játszik a szakértői választási folyamatban a szakemberek (MOE) építészetében. Ezt az architektúrát úgy tervezték, hogy hatékonyan kezelje a nagyszabású nyelvi modellezési feladatokat azáltal, hogy dinamikusan aktiválja a szakértői részhalmazt a bemeneti tokenek alapján.
affinitás pontszám kiszámítása
Az affinitási pontszámot a bemeneti token beágyazásának DOT -termékeként és egy adott szakértő centridjeként számítják ki. A centridot minden szakértő számára reprezentatív vektornak lehet tekinteni, amely a szakértő átlagos aktiválásaiból vagy bemeneteiből származhat. Ez a DOT termék méri, hogy a token mennyire szorosan igazodik az egyes rendelkezésre álló szakértők szakértelmével.
Szakértői kiválasztási folyamat
1. Top-K útválasztás: Minden egyes bemeneti token esetében a DeepSeek-V3 kiválasztja a 8 legjobb szakértőt, akik a legmagasabb affinitási pontszámmal rendelkeznek. Ezt a folyamatot Top-K útválasztásnak nevezik, ahol a K ebben az esetben 8-nál van rögzítve [1] [7].
2. torzítás beállítása: Az útválasztás összeomlásának megakadályozása érdekében, ahol túl sok zsetont vezetnek ugyanazon szakértőkhöz, a DeepSeek-V3 dinamikus torzítás-beállítást vezet be. Mindegyik szakértőnek van egy $$ B_i $$ elfogultsága, amelyet hozzáadnak az affinitási pontszámhoz az útválasztás során. Ha egy szakértő túlterhelt, az elfogultság csökken, és ha alulfelhasználják, akkor az elfogultság növekszik. Ez a kiigazítás elősegíti a kiegyensúlyozott munkaterhelést az összes szakértőnél anélkül, hogy kifejezett kiegészítő veszteségeket használna [1] [3].
3. kapu mechanizmus: A kapu mechanizmus kiszámítja az egyes tokenek pontszámát, és ezen pontszámok alapján kiválasztja a legrelevánsabb irányított szakértőket. Ez biztosítja, hogy a modell hatékonyan elosztja a számítási erőforrásokat azáltal, hogy csak az egyes tokenhez szükséges szakértők aktiválásával aktiválják [3].
az affinitási pontszám előnyei
- Hatékonyság: A szakértők kiválasztásával az affinitási pontszámok alapján a DeepSeek-V3 csökkenti a számítási költségeket azáltal, hogy a modell összes paraméterének csak egy töredékét aktiválja az egyes tokenekre. Ez hatékonyabb következtetési és edzési folyamatokat eredményez [4] [8].
- Specializáció: Az affinitási pontszám lehetővé teszi a szakértők jobb specializációját. Minden szakértő konkrét mintákra vagy feladatokra összpontosíthat, javítva a modell általános reprezentációs teljesítményét és képességét a különféle bemenetek kezelésére [1] [2].
- Stabilitás: A dinamikus torzítás beállítása biztosítja, hogy ne legyen túlterhelt szakértő, megőrizve a stabilitást mind az edzés, mind a következtetés során. Ez megakadályozza, hogy a modell túlterhelés miatt eldobja a tokeneket, ami problémát jelentett a korábbi verziókban [2] [3].
Összefoglalva: a DeepSeek-V3 affinitási pontszáma elengedhetetlen az egyes bemeneti tokenek számára a legrelevánsabb szakértők dinamikus kiválasztásához, biztosítva a hatékony és speciális feldolgozást, miközben fenntartja a modell stabilitását.
Idézetek:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-beenefit-mixture-experts-moe-models-qi-he-nkgbe
[5] https://www.linkedin.com/pulse/unpacking-deepseek-v3-technical-inovations-question-cost-statton-juplc
[6] https://latenode.com/blog/deepseek-v3-and-deepseek-r1-integrations-are-now-on-latenode
[7] https://www.linkedin.com/pulse/dynamicical-selecting-number-expert-moe-models-like-deepseek-rosi%c4%87-ckytf
[8] https://arxiv.org/html/2412.19437v1
[9] https://www.bentoml.com/blog/the-clete-guide-to-deepseek-models-from-v3-to-r1-and-beyond