Sigmoid vārtiem DeepSEEK-V3 ir izšķiroša loma, novēršot maršrutēšanas sabrukumu, kas ir kopīga problēma ekspertu sajaukumā (MOE) modeļos, kur daži eksperti tiek konsekventi atbalstīti pār citiem, izraisot neefektīvu apmācību un modeļa resursu izmantošanu. Lūk, kā palīdz sigmoid vārti:
tradicionālais softmax vārtu gājiens pret sigmoid vārtiem
Tradicionālie MOE modeļi bieži izmanto Softmax vārtu guvumu, kas var izraisīt scenāriju "uzvarētāja-Takes-All". Softmax izejas tiek normalizētas, lai pārliecinātos, ka tās summē līdz 1, kas var izraisīt ārkārtējas varbūtības, kad viens eksperts tiek izvēlēts gandrīz vienīgi, it īpaši, ja tā sākotnējais svars ir nedaudz labāks. Tas var izraisīt citu ekspertu nepietiekamu izmantošanu un nepietiekamu apmācību, izraisot maršrutēšanas sabrukumu.
Turpretī Sigmoid Gating katram ekspertam piešķir punktu skaitu no 0 līdz 1 patstāvīgi, bez normalizācijas starp ekspertiem. Tas nozīmē, ka vairākiem ekspertiem var būt augsti rādītāji vienlaicīgi, ļaujot panākt līdzsvarotāku žetonu sadalījumu starp ekspertiem. Sigmoid Gating neveicina stingru ekspertu konkurenci, samazinot maršrutēšanas sabrukuma iespējamību, nodrošinot, ka katrs eksperts iegūst diezgan lielu iespēju dot savu ieguldījumu [1] [4] [6].
Dinamiska novirzes pielāgošana
DeepSEEK-V3 vēl vairāk uzlabo sigmoīdu vārtu gūšanu, katram ekspertam ieviešot dinamisko aizspriedumu nosacījumus. Šie aizspriedumi tiek pielāgoti apmācības laikā, pamatojoties uz katra eksperta slodzi. Ja eksperts ir pārslogots, tā aizspriedums tiek samazināts, lai atturētu no tā turpmākas maršrutēšanas, savukārt nepietiekami ielādētie eksperti ir palielinājušies, lai piesaistītu vairāk žetonu. Šī dinamiskā pielāgošana palīdz saglabāt līdzsvarotu slodzi visiem ekspertiem, neļaujot jebkuram atsevišķam ekspertam dominēt maršrutēšanas lēmumos un tādējādi novēršot maršrutēšanas sabrukumu [2] [4] [6].
Hierarhiska vārda
DeepSEEK-V3 izmanto arī hierarhisku vārtu gūšanu, kas vairākos līmeņos piemēro retuma ierobežojumus. Sākotnēji tiek veikta rupja ekspertu izvēle, kam seko smalkāka filtrēšana izvēlētajās grupās. Šī hierarhiskā pieeja nodrošina, ka katram marķierim tiek aktivizēts daudzveidīgs ekspertu kopums, vēl vairāk samazinot maršruta sabrukuma risku, novēršot pārāk specializāciju un veicinot vispārinājumu dažādās jomās [1] [6].
Node ierobežota maršrutēšana
Turklāt DeepSEEK-V3 izmanto ierobežotu mezglu maršrutēšanu, kas ierobežo mezglu skaitu, ar kuru katrs marķieris var sazināties. Šī stratēģija samazina starpmezglu komunikācijas pieskaitāmās izmaksas, nodrošinot efektīvu apmācību un secinājumus, vienlaikus saglabājot līdzsvarotu ekspertu izmantošanu [6].
Rezumējot, sigmoid vārti DeepSEEK-V3 palīdz novērst maršrutēšanas sabrukumu, ļaujot vairākus ekspertus aktivizēt vienlaicīgi, nepiespiežot stingru konkurenci starp tiem. Dinamiskā neobjektivitātes pielāgošana un hierarhiskā vārda vēl vairāk nodrošina, ka katrs eksperts tiek efektīvi izmantots, saglabājot līdzsvarotu slodzi un neļaujot jebkuram ekspertam dominēt maršrutēšanas lēmumos.
Atsauces:
[1] https://www.linkedin.com/posts/sathiyakeerthi_how-depseek-v3-picks-perfect-experts -aktivitāte-7287631625310412800-ncyv
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://epochai.substack.com/p/how-has-depseek-improved-the-formformer
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://fireworks.ai/blog/deepseek-model-architecture
[6] https://aman.ai/primers/ai/deepseek-r1/
[7] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[8] https://www.kisekilabs.com/blog-posts/why-depseek-v3-matters-in-the-world-of-llms