I Deepseek-V3 spiller affinitetsresultatet en afgørende rolle i ekspertudvælgelsesprocessen inden for dens blanding af eksperter (MOE) arkitektur. Denne arkitektur er designet til effektivt at håndtere storskala sprogmodelleringsopgaver ved dynamisk at aktivere en undergruppe af eksperter baseret på input-tokens.
Affinity Score beregning
Affinity -score beregnes som prikproduktet af input -tokens indlejring og en bestemt eksperts centroid. Centroid kan betragtes som en repræsentativ vektor for hver ekspert, der kan være afledt af de gennemsnitlige aktiveringer eller input, som ekspertprocesserne. Dette prikprodukt måler, hvor tæt tilpasset tokenet er med ekspertisen for hver tilgængelig ekspert.
Ekspertudvælgelsesproces
1. Top-K-routing: For hvert input-token vælger DeepSeek-V3 de 8 bedste eksperter med de højeste affinitetsresultater. Denne proces er kendt som Top-K-routing, hvor K er fastgjort til 8 i dette tilfælde [1] [7].
2. forspændingsjustering: For at forhindre routing af sammenbrud, hvor for mange tokens dirigeres til de samme eksperter, introducerer DeepSeek-V3 en dynamisk biasjustering. Hver ekspert har en bias -term $$ B_I $$, der føjes til dens affinitetsscore under routing. Hvis en ekspert er overbelastet, reduceres dens bias, og hvis den er underudnyttet, øges dens bias. Denne justering hjælper med at opretholde en afbalanceret arbejdsbyrde på tværs af alle eksperter uden at bruge eksplicit hjælpetab [1] [3].
3. gatingmekanisme: Gatingmekanismen beregner en score for hver token og vælger de mest relevante routede eksperter baseret på disse scoringer. Dette sikrer, at modellen effektivt tildeler beregningsressourcer ved kun at aktivere de nødvendige eksperter til hvert token [3].
Fordele ved affinitetsresultatet
- Effektivitet: Ved at vælge eksperter, der er baseret på affinitetsresultater, reducerer DeepSeek-V3 beregningsomkostninger ved kun at aktivere en brøkdel af modellens samlede parametre for hvert token. Dette resulterer i mere effektive inferens- og træningsprocesser [4] [8].
- Specialisering: Affinitetsscore giver mulighed for bedre specialisering blandt eksperter. Hver ekspert kan fokusere på specifikke mønstre eller opgaver og forbedre modellens samlede repræsentative kraft og evne til at håndtere forskellige input [1] [2].
- Stabilitet: Justeringen af dynamisk bias sikrer, at ingen ekspert er overbelastet, hvilket opretholder stabilitet under både træning og inferens. Dette forhindrer modellen i at droppe tokens på grund af overbelastning, hvilket var et problem i tidligere versioner [2] [3].
Sammenfattende er affinitetsresultatet i Deepseek-V3 afgørende for dynamisk at vælge de mest relevante eksperter for hvert input-token, hvilket sikrer effektiv og specialiseret behandling, mens den opretholder modelstabilitet.
Citater:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit blanding-experts-moe-models-qi-he-nkgbe
[5] https://www.linkedin.com/pulse/unpacking-deepseek-v3-technical-innovations-spion-cost-statton-juplc
[6] https://latenode.com/blog/deepseek-v3-and-deepseek-r1-integrations-are-now-on-latenode
)
[8] https://arxiv.org/html/2412.19437v1
)