I DeepSeek-V3 spiller Affinity-poengsummen en avgjørende rolle i ekspertutvelgelsesprosessen i sin blanding av ekspert (MOE) -arkitektur. Denne arkitekturen er designet for å effektivt håndtere storskala språkmodelleringsoppgaver ved dynamisk å aktivere en undergruppe av eksperter basert på inngangstokens.
Affinitetspoengberegning
Affinitetspoengene beregnes som prikkproduktet til inngangstokens innebygging og en spesifikk eksperts centroid. Centroid kan tenkes som en representativ vektor for hver ekspert, som kan være avledet fra de gjennomsnittlige aktiveringene eller inngangene som eksperten prosesser. Dette prikkproduktet måler hvor tett justert tokenet er med ekspertisen til hver tilgjengelig ekspert.
Ekspertvalgsprosess
1. Top-K-ruting: For hvert input-token velger DeepSeek-V3 de 8 beste ekspertene med høyeste affinitetspoeng. Denne prosessen er kjent som Top-K-ruting, der K er festet til 8 i dette tilfellet [1] [7].
2. Forspenningsjustering: For å forhindre rutingskollaps, der for mange symboler blir dirigert til de samme ekspertene, introduserer DeepSeek-V3 en dynamisk skjevhetsjustering. Hver ekspert har et skjevhetsbegrep $$ B_I $$ som legges til sin tilhørighetspoeng under ruting. Hvis en ekspert er overbelastet, reduseres skjevheten, og hvis den er underutnyttet, økes skjevheten. Denne justeringen hjelper til med å opprettholde en balansert arbeidsmengde på tvers av alle eksperter uten å bruke eksplisitte hjelpestap [1] [3].
3. Gatemekanisme: Gatemekanismen beregner en poengsum for hvert token og velger de mest relevante rutede ekspertene basert på disse score. Dette sikrer at modellen effektivt tildeler beregningsressurser ved bare å aktivere de nødvendige ekspertene for hvert token [3].
Fordeler med affinitetspoeng
- Effektivitet: Ved å velge eksperter basert på affinitetspoeng, reduserer DeepSeek-V3 beregningskostnader ved å aktivere bare en brøkdel av modellens totale parametere for hvert token. Dette resulterer i mer effektive inferens- og treningsprosesser [4] [8].
- Spesialisering: Affinitetsscore gir bedre spesialisering blant eksperter. Hver ekspert kan fokusere på spesifikke mønstre eller oppgaver, og forbedre modellens overordnede representasjonskraft og evne til å håndtere forskjellige innganger [1] [2].
- Stabilitet: Den dynamiske skjevhetsjusteringen sikrer at ingen ekspert er overbelastet, og opprettholder stabiliteten under både trening og slutning. Dette forhindrer at modellen slipper symboler på grunn av overbelastning, noe som var et problem i tidligere versjoner [2] [3].
Oppsummert er affinitetspoengene i DeepSeek-V3 avgjørende for dynamisk å velge de mest relevante ekspertene for hvert innspill-token, og sikre effektiv og spesialisert prosessering samtidig som modellstabiliteten opprettholdes.
Sitasjoner:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-beenefit-mixture-experts-moe-models-qi-he-nkgbe
[5] https://www.linkedin.com/pulse/unpacking-depseek-v3-technical-invations-spolestion-cost-statton-juplc
[6] https://latenode.com/blog/deepseek-v3-and-depseek-r1-integrations-are-now-on-latenode
[7] https://www.linkedin.com/pulse/dynamically-selecting-number-expert-moe-models-ligike-pseek-roosi%C4%87-cyTF
[8] https://arxiv.org/html/2412.19437v1
[9] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-and-beyond