Brugen af sigmoid gating i DeepSeek-V3 tilbyder flere vigtige fordele, især i forbindelse med blanding af eksperter (MOE) modeller. Her er de detaljerede fordele:
1. afkobling af router -scoringer: I modsætning til traditionel SoftMax -gating, der normaliserer scoringer på tværs af alle eksperter, gør Sigmoid Gating tillader, at hver eksperts score beregnes uafhængigt. Dette afkobler routeren scorer, hvilket betyder, at aktiveringen af en ekspert ikke direkte påvirker andres aktivering. Dette kan føre til mere fleksible og nuancerede routingbeslutninger, da hver eksperts score ikke er begrænset af de andres score [5].
2. Undgå overtillid: Softmax-port kan undertiden føre til overtillid i routingbeslutningerne, hvor en enkelt ekspert vælges med meget stor sandsynlighed og potentielt ignorerer andre relevante eksperter. Sigmoid gating mindsker dette ved at lade flere eksperter aktiveres med store sandsynligheder, hvilket fremmer en mere afbalanceret udnyttelse af eksperter på tværs af modellen [5].
3. bevarelse af ekspertbidrag: Ved at bruge sigmoid gating bevares bidraget fra hver ekspert mere effektivt. Portværdierne, der ganges med ekspertudgange, er afledt af de originale affinitetsresultater uden normalisering. Dette sikrer, at integriteten af hver eksperts bidrag opretholdes, selv når flere eksperter aktiveres [3].
4. fleksibilitet i routing: Sigmoid Gating giver mere fleksibilitet i routingbeslutninger, da den ikke håndhæver en streng normalisering på tværs af alle eksperter. Denne fleksibilitet kan være særlig fordelagtig i scenarier, hvor flere eksperter er lige så relevante for at behandle et givet input -token, hvilket gør det muligt for modellen at udnytte forskellige videnkilder mere effektivt [5].
5. Nedsat risiko for at dirigere sammenbrud: Routing -sammenbrud opstår, når modellen konsekvent favoriserer en lille undergruppe af eksperter, hvilket effektivt vender tilbage til en tæt model. Sigmoid Gating kombineret med andre belastningsbalancerende strategier som dynamiske bias-udtryk hjælper med at forhindre dette ved at tilskynde til en mere afbalanceret fordeling af tokens på tværs af eksperter uden direkte at straffe ubalance gennem hjælpetab [3].
Generelt forbedrer brugen af sigmoid port i DeepSeek-V3 modellens evne til at styre ekspertspecialisering og videndeling effektivt, hvilket bidrager til dens stærke ydelse og beregningseffektivitet.
Citater:
)
)
[3] https://machinelearningatscale.substack.com/p/deepseek-v3-model
)
[5] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
[6] https://metr.org/blog/2025-02-14-masuring-automated-kernel-engineering/
[7] https://arxiv.org/html/2412.19437v1
[8] https://stackoverflow.com/questions/56318636/what-are-the-benefits-of-ussing-a-sigmoid-function