Het deskundige selectieproces van DeepSeek-V3 is ontworpen om een evenwichtige en efficiënte verdeling van taken in zijn experts te garanderen, waardoor de combinatie van experts (MOE) architectuur wordt gebruikt. Dit proces is cruciaal voor het bereiken van een perfecte mix van vaardigheden door alleen de meest relevante experts voor elk invoertoken dynamisch te activeren.
Mix van experts (MOE) architectuur
Deepseek-V3 maakt gebruik van een MOE-architectuur, waarbij het model wordt gedeeld in meerdere "experts", elk gespecialiseerd in verschillende taken of kennisdomeinen. Het model heeft 1 gedeelde expert en 256 gerouteerde experts, met 8 gerouteerde experts geselecteerd als actief voor elk invoertoken op basis van hun relevantie [1]. Met deze benadering kan het model ingangen efficiënter verwerken door slechts een fractie van zijn totale parameters 37 miljard van 671 miljard te activeren voor elke taak [6] [7].
Selectieproces van experts
De selectie van experts in DeepSeek-V3 is gebaseerd op een affiniteitsscore, die wordt berekend als het puntproduct van de input token-inbedding en het centroid van een specifieke expert. Deze score bepaalt hoe goed een expert overeenkomt met de behoeften van het invoertoken [1]. Het model maakt gebruik van een top-K selectiestrategie, waarbij de top-scorende experts worden gekozen voor verwerking. Om te voorkomen dat instorting wordt gerouteerd, waar te veel tokens naar een paar experts worden gestuurd, hanteert Deepseek-V3 een hulpstrategie voor hulpverlies zonder verlies.
Auxiliary-loss-vrij load balancing
Deze strategie omvat het toevoegen van een vooringenomenheid aan de affiniteitsscore tijdens het routeren. De bias wordt dynamisch aangepast op basis van het gebruik van elke expert binnen een batch. Als een expert wordt overbelast, wordt de vooringenomenheid verminderd om verdere opdrachten te ontmoedigen, terwijl onderbenutte experts hun vooringenomenheid toegenomen om meer gebruik aan te moedigen [1] [3]. Deze benadering zorgt ervoor dat de werklast gelijkmatig over experts is verdeeld zonder de noodzaak van extra verliesfuncties, wat soms de modelprestaties kan schaden [4].
Voordelen van het selectieproces van deskundigen
Het selectieproces van deskundigen in Deepseek-V3 biedt verschillende voordelen:
-Efficiëntie: door alleen relevante experts te activeren, vermindert het model de overheadkosten, waardoor het kosteneffectiever en energiezuiniger is [6] [9].
- Specialisatie: elke expert kan zich specialiseren in specifieke taken of kennisgebieden, wat leidt tot een meer genuanceerde en nauwkeurige verwerking van diverse inputs [1] [9].
- Schaalbaarheid: de MOE -architectuur zorgt voor grotere modellen zonder overmatige rekenkosten, waardoor de ontwikkeling van meer complexe en capabele AI -systemen [4] [6] mogelijk is.
Over het algemeen zorgt het deskundige selectieproces van Deepseek-V3 voor een perfecte mix van vaardigheden door taken dynamisch toe te wijzen aan gespecialiseerde experts, het optimaliseren van de efficiëntie en het verbeteren van modelprestaties.
Citaten:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://www.herohunt.ai/blog/deepseeks-ai-model-revolutionizing-global-recruitment
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit--mixture-experts-moDels-qi-qi-qi-qi-nkgbe
[5] https://www.reddit.com/r/localllama/comment
[6] https://alliedinsigh
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-deepseek-what-does-deepseek-do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-en-beyond
