DeepSEEK-V3 gadījumā afinitātes rādītājam ir izšķiroša loma ekspertu atlases procesā tās eksemplāru (MOE) arhitektūrā. Šī arhitektūra ir paredzēta, lai efektīvi apstrādātu liela mēroga valodas modelēšanas uzdevumus, dinamiski aktivizējot ekspertu apakškopu, pamatojoties uz ievades marķieriem.
Affinitātes rādītāja aprēķins
Affinitātes rādītājs tiek aprēķināts kā ieejas marķiera iegulšanas punktu produkts un īpaša eksperta centraid. Centroid var uzskatīt par katra eksperta reprezentatīvu vektoru, ko varētu iegūt no vidējām aktivizācijām vai ieguldījumiem, kurus eksperts apstrādā. Šis punktveida produkts mēra, cik cieši saskaņoja marķieri ar katra pieejamā eksperta kompetenci.
ekspertu atlases process
1. Top-K maršrutēšana: katram ievades marķierim DeepSeek-V3 izvēlas 8 labākos ekspertus ar visaugstāko afinitātes rādītājiem. Šis process ir pazīstams kā Top-K maršrutēšana, kur K šajā gadījumā ir fiksēts 8 [1] [7].
2. Neobjektivitātes pielāgošana: lai novērstu maršrutēšanas sabrukumu, kur pārāk daudz žetonu tiek novirzīti uz tiem pašiem ekspertiem, DeepSEEK-V3 ievieš dinamisku novirzes pielāgošanu. Katram ekspertam ir neobjektivitātes termins $$ B_I $$, kas maršrutēšanas laikā tiek pievienots tā afinitātes rādītājam. Ja eksperts ir pārslogots, tā aizspriedums tiek samazināts, un, ja tas tiek nepietiekami izmantots, tā novirze tiek palielināta. Šī pielāgošana palīdz saglabāt līdzsvarotu darba slodzi visos ekspertos, neizmantojot skaidrus palīg zaudējumus [1] [3].
3. Vērtēšanas mehānisms: vārtu guvēšanas mehānisms aprēķina rezultātu katram marķierim un, pamatojoties uz šiem rādītājiem, izvēlas visatbilstošākos maršrutētos ekspertus. Tas nodrošina, ka modelis efektīvi piešķir skaitļošanas resursus, tikai aktivizējot nepieciešamos ekspertus katram marķierim [3].
Affinitātes punktu ieguvumi
- Efektivitāte: izvēloties ekspertus, pamatojoties uz afinitātes rādītājiem, DeepSEEK-V3 samazina skaitļošanas izmaksas, aktivizējot tikai daļu no modeļa kopējiem parametriem katram marķierim. Tā rezultātā tiek iegūti efektīvāki secinājumu un apmācības procesi [4] [8].
- Specializācija: afinitātes rādītājs ļauj labāk specializēt ekspertu vidū. Katrs eksperts var koncentrēties uz konkrētiem modeļiem vai uzdevumiem, uzlabojot modeļa kopējo reprezentācijas jaudu un spēju apstrādāt dažādas ieejas [1] [2].
- Stabilitāte: dinamiskā novirzes pielāgošana nodrošina, ka neviens eksperts nav pārslogots, saglabājot stabilitāti gan apmācības, gan secinājumu laikā. Tas neļauj modelim nokrist žetonus pārslodzes dēļ, kas bija problēma iepriekšējās versijās [2] [3].
Rezumējot, afinitātes rādītājs DeepSeek-V3 ir būtisks, lai dinamiski izvēlētos visatbilstošākos ekspertus katram ievades marķierim, nodrošinot efektīvu un specializētu apstrādi, saglabājot modeļa stabilitāti.
Atsauces:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benfit-mixture-experts-models-qi-he-nkgbe
[5] https://www.linkedin.com/pulse/unpacking-depseek-v3-technical-innovations-question-cost-statton-Juplc
[6] https://latenode.com/blog/deepseek-v3-and-depseek-r1-integrations-Ar
[7] https://www.linkedin.com/pulse/dynamicall
[8] https://arxiv.org/html/2412.19437v1
[9] https://www.bentoml.com/blog/the-complete-guide-to-depseek-models-from-v3-to-r1-and-beyond