I DeepSeek-V3 spelar affinitetspoängen en avgörande roll i expertvalsprocessen inom dess arkitektur för blandning av experter (MOE). Denna arkitektur är utformad för att effektivt hantera storskaliga språkmodelleringsuppgifter genom att dynamiskt aktivera en delmängd av experter baserat på inmatningstokens.
Affinitetsresultatberäkning
Affinitetspoängen beräknas som prickprodukten från ingångstokenets inbäddning och en specifik expertcentroid. Centroid kan betraktas som en representativ vektor för varje expert, som kan härledas från de genomsnittliga aktiveringarna eller insatserna som experten bearbetar. Denna prickprodukt mäter hur nära anpassat token är med expertis för varje tillgänglig expert.
Expertvalsprocess
1. Top-K-routing: För varje ingångstoken väljer Deepseek-V3 de 8 bästa experterna med de högsta affinitetsresultaten. Denna process kallas top-k-routing, där K är fast vid 8 i detta fall [1] [7].
2. BIAS-justering: För att förhindra att routing kollaps, där för många symboler dirigeras till samma experter, introducerar Deepseek-V3 en dynamisk förspänningsjustering. Varje expert har en Bias Term $$ B_I $$ som läggs till dess affinitetsresultat under routing. Om en expert är överbelastad minskas dess förspänning, och om den är underutnyttjad ökas dess förspänning. Denna justering hjälper till att upprätthålla en balanserad arbetsbelastning i alla experter utan att använda uttryckliga hjälpförluster [1] [3].
3. Gatingmekanism: Gatingmekanismen beräknar en poäng för varje token och väljer de mest relevanta dirigerade experterna baserat på dessa poäng. Detta säkerställer att modellen effektivt fördelar beräkningsresurser genom att endast aktivera nödvändiga experter för varje symbol [3].
Fördelar med affinitetspoängen
- Effektivitet: Genom att välja experter baserade på affinitetsresultat minskar DeepSeek-V3 beräkningskostnader genom att endast aktivera en bråkdel av modellens totala parametrar för varje symbol. Detta resulterar i effektivare inferens- och utbildningsprocesser [4] [8].
- Specialisering: Affinitetspoängen möjliggör bättre specialisering bland experter. Varje expert kan fokusera på specifika mönster eller uppgifter, vilket förbättrar modellens övergripande representativa kraft och förmåga att hantera olika ingångar [1] [2].
- Stabilitet: Den dynamiska förspänningsjusteringen säkerställer att ingen expert är överbelastad, upprätthåller stabilitet under både träning och slutsats. Detta förhindrar att modellen släpper tokens på grund av överbelastning, vilket var ett problem i tidigare versioner [2] [3].
Sammanfattningsvis är affinitetspoängen i Deepseek-V3 avgörande för att dynamiskt välja de mest relevanta experterna för varje inmatningstoken, vilket säkerställer effektiv och specialiserad bearbetning samtidigt som modellstabiliteten upprätthålls.
Citeringar:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
]
[5] https://www.linkedin.com/pulse/unpacking-deepseek-v3-technical-novations-question-cost-statton-juplc
[6] https://latenode.com/blog/deepseek-v3-andeepseek-r1-integrations-are-now-on-latenode
]
[8] https://arxiv.org/html/2412.19437v1
[9] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-and-beyond