Použitie sigmoidného hradlovania v Deepseek-V3 ponúka niekoľko kľúčových výhod, najmä v kontexte modelov zmesi expertov (MOE). Tu sú podrobné výhody:
1. Rozdeľovacie skóre smerovača: Na rozdiel od tradičného softmaxového hradenia, ktoré normalizuje skóre u všetkých odborníkov, Sigmoid Gating umožňuje nezávisle vypočítať skóre každého odborníka. To oddeľuje skóre smerovača, čo znamená, že aktivácia jedného odborníka priamo neovplyvňuje aktiváciu ostatných. To môže viesť k flexibilnejším a viac rozhodnutiam o smerovaní, pretože skóre každého odborníka nie je obmedzené skóre ostatných [5].
2. Vyhýbanie sa nadmernej dôvery: Softmax Gating môže niekedy viesť k nadmernej dôvery pri rozhodovaní o smerovaní, kde je jediný odborník vybraný s veľmi vysokou pravdepodobnosťou, čo potenciálne ignoruje iných relevantných odborníkov. Sigmoid Gating to zmierňuje tým, že umožňuje aktiváciu viacerých odborníkov s vysokou pravdepodobnosťou, čo podporuje vyváženejšie využitie odborníkov v celom modeli [5].
3. Zachovanie odborných príspevkov: Použitím sigmoidného hradlovania je prínos každého odborníka zachovaný efektívnejšie. Hodnoty hradlovania, ktoré sa vynásobia expertnými výstupmi, sú odvodené z pôvodného afinitného skóre bez normalizácie. To zaisťuje, že sa udržiava integrita príspevku každého odborníka, aj keď je aktivovaných viacerých odborníkov [3].
4. Flexibilita v smerovaní: Sigmoid Gating poskytuje väčšiu flexibilitu pri rozhodovaní o smerovaní, pretože nevynucuje prísnu normalizáciu u všetkých odborníkov. Táto flexibilita môže byť obzvlášť prospešná v scenároch, v ktorých je viacerí odborníci rovnako relevantné na spracovanie daného vstupného tokenu, čo umožňuje modelu využívať rôzne zdroje znalostí efektívnejšie [5].
5. Znížené riziko kolapsu smerovania: K kolapsu smerovania nastane, keď model neustále uprednostňuje malú podskupinu odborníkov, čím sa účinne vráti k hustému modelu. Sigmoidné hradlovanie v kombinácii s inými stratégiami vyváženia zaťaženia, ako sú výrazy dynamickej zaujatosti, mu pomáha zabrániť tým, že povzbudzuje vyváženejšiu distribúciu žetónov medzi odborníkmi bez priamej penalizácie nerovnováhy prostredníctvom pomocných strát [3].
Celkovo využívanie sigmoidných hradlostí v Deepseek-V3 zvyšuje schopnosť modelu riadiť odbornú špecializáciu a zdieľanie znalostí efektívne, čo prispieva k jeho silnému výkonu a výpočtovej efektívnosti.
Citácie:
[1] https://community.aws/content/2rjj1wkztsfywvfSiibHwxeqmf1/four-unique-takaways-from-from-deepseek-v3?lang=en
[2] https://ai.gopubby.com/deepseek-v3-explained-2-deepseekmoe-106cffcc56c1
[3] https://machinearningatscale.substack.com/p/deepseek-v3-model
[4] https://www.linkedin.com/posts/niccolo-gentile-phd-02208160_there-is-henstanderstable-quite-aite-a-Lot-activity-72899514269493376-q1ob
[5] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
[6] https://metr.org/blog/2025-02-14 Measuring-automated-kernel-inineering/
[7] https://arxiv.org/html/2412.19437v1
[8] https://stackoverflow.com/questions/56318636/what-are-the-benefits-of-using-using-a-sigmoid-function