Postopek strokovnega izbire Deepseek-V3 je zasnovan tako, da zagotovi uravnoteženo in učinkovito porazdelitev nalog med svojimi strokovnjaki, pri čemer je uporabil mešanico arhitekture strokovnjakov (MOE). Ta postopek je ključnega pomena za doseganje popolne mešanice veščin, tako da dinamično aktivira le najpomembnejše strokovnjake za vsak žeton.
Mešanica arhitekture strokovnjakov (MOE)
Deepseek-V3 uporablja arhitekturo MO, ki vključuje delitev modela na več "strokovnjakov", vsak pa je specializiran za različne naloge ali domene znanja. Model ima 1 skupni strokovnjak in 256 usmerjenih strokovnjakov, pri čemer je 8 usmerjenih strokovnjakov izbranih kot aktivnih za vsak vhodni žeton na podlagi njihovega pomena [1]. Ta pristop omogoča modelu, da učinkoviteje obdeluje vložke, tako da za vsako nalogo aktivira le del njegovih skupnih parametrov 37 milijard od 671 milijard [6] [7].
Proces izbire strokovnjakov
Izbira strokovnjakov v Deepseek-V3 temelji na oceni afinitete, ki se izračuna kot produkt pik vgradnje vhodnega žetona in centroid določenega strokovnjaka. Ta rezultat določa, kako dobro se strokovnjak ujema s potrebami žetona vhod [1]. Model uporablja strategijo izbire Top-K, kjer so za obdelavo izbrani strokovnjaki za vrhunsko oceno. Da bi se izognili propadu usmerjanja, kamor se preveč strokovnjakov pošlje preveč žetonov, Deepseek-V3 uporablja strategijo uravnoteženja obremenitve brez izgube.
Auxiliary brez izgube obremenitve
Ta strategija vključuje dodajanje pristranskosti v oceno afinitete med usmerjanjem. Pristranskost se dinamično prilagodi na podlagi uporabe vsakega strokovnjaka znotraj serije. Če je strokovnjak preobremenjen, se njegova pristranskost zmanjša za odvračanje od nadaljnjih nalog, medtem ko se premalo uporabljeni strokovnjaki povečajo, da bi spodbudili več uporabe [1] [3]. Ta pristop zagotavlja, da se delovna obremenitev enakomerno porazdeli med strokovnjaki, ne da bi potrebovali dodatne funkcije izgube, kar lahko včasih škodi uspešnosti modela [4].
Prednosti strokovnega izbirnega postopka
Proces strokovnega izbire v Deepseek-V3 ponuja več prednosti:
-Učinkovitost: Z aktiviranjem samo ustreznih strokovnjakov model zmanjšuje računalniške režijske stroške, zaradi česar je stroškovno učinkovit in energetsko učinkovit [6] [9].
- Specializacija: Vsak strokovnjak se lahko specializira za posebne naloge ali področja znanja, kar vodi do bolj zatemnjene in natančnejše obdelave različnih vložkov [1] [9].
- razširljivost: MOE arhitektura omogoča večje modele brez prekomernih računskih stroškov, kar omogoča razvoj bolj zapletenih in sposobnih AI sistemov [4] [6].
Na splošno postopek strokovnega izbire Deepseek-V3 zagotavlja popolno mešanico veščin z dinamičnim dodeljevanjem nalog specializiranim strokovnjakom, optimizacijo učinkovitosti in izboljšanjem zmogljivosti modela.
Navedbe:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://www.herohunt.ai/blog/deepseeks-ai-model-revoluting-Global-rece
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main----mixt-experts-moe-models-qi-he-nkgbe
[5] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_Truly_better_than/
[6] https://alliedinsight.com/blog/deepseeks-technological-invations-a-deep-dive-into-the-v3-model/
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-deepseek-what-Does-deepseek-Do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-complete-guide-to-epseek-models-from-V3-to-R1-And-Beyond