„Deepseek-V3“ ribotas mazgų maršrutas (NLR) yra strategija, skirta optimizuoti ryšių pridėtines išlaidas didelio masto eksperimento mišinio (MOE) modelio treniruotėse. Šis požiūris grindžiamas ankstesniais metodais, tokiais kaip ribotas įrenginio maršrutas, naudojamas „Deepseeek-V2“, tačiau daugiausia dėmesio skiriant tarp mazgo ryšių išlaidų mažinimui.
pagrindiniai NLR komponentai
1. Mazgo sąveikos ribojimas: NLR kiekvienas prieigos raktas siunčiamas į daugiausiai $ $ m $ $ mazgų, kur $$ m $$ paprastai nustatomas kaip nedidelis skaičius, pavyzdžiui, 4 [7]. Šis apribojimas užtikrina, kad žetonai nebendrautų su per daug mazgų skaičiumi visame modelyje, žymiai sumažindami kryžminio mazgo sinchronizaciją ir ryšių pridėtines vertes [2] [5].
2. Ekspertų pasirinkimas: Atrankos procesas apima aukščiausių $ $ m $ $ mazgų nustatymą, kuriame yra ekspertų, turinčių aukščiausius afinitetų balus tam tikram ženklui. Tada iš šių pasirinktų mazgų pasirenkami galutiniai $ $ k_r $ $ ekspertai [3]. Šis metodas užtikrina, kad ryšys būtų sutelktas ir efektyvus, sumažinant nereikalingą duomenų perdavimą tarp mazgų.
3. Apkrovos balansavimas: Nors pats NLR tiesiogiai nenagrinėja apkrovos balansavimo, „Deepseek-V3“ integruoja jį su kitomis apkrovos balansavimo strategijomis. Pavyzdžiui, jis naudoja šališkumo terminus dinamiškai koreguoti ekspertų panaudojimą, užtikrinant, kad joks ekspertas nebus perkrautas, o kiti lieka nenaudojami [1] [5]. Šis požiūris padeda išlaikyti skaičiavimo efektyvumą, nesikreipiant į pagalbinius nuostolius, kurie gali pakenkti modelio našumui.
NLR pranašumai
- Sumažinta ryšio pridėtinė vertė: apribodamas kiekvieno žetono mazgų skaičių, NLR žymiai sumažina duomenų, kuriuos reikia perkelti tarp mazgų, kiekį. Šis komunikacijos pridėtinė sumažėjimas lemia greitesnį treniruotės ir išvadų laiką [2] [5].
-Patobulintas mastelio keitimas: NLR leidžia „DeepSeeek-V3“ efektyviau išplėsti mastelį, nes tai sušvelnina kliūčių, kurias sukelia per didelis ryšys tarp mazgų. Šis mastelio keitimas yra labai svarbus tvarkant didelio masto MOE modelius ir apdorojant didžiulį duomenų kiekį [3] [5].
- Patobulintas skaičiavimo efektyvumas: užtikrinant, kad žetonai būtų apdorojami ribotame mazgų rinkinyje, NLR padeda išlaikyti subalansuotą skaičiavimo apkrovą visoje sistemoje. Ši pusiausvyra yra būtina norint maksimaliai išnaudoti išteklius ir sumažinti veiklos kliūčių kiekį [4].
Apibendrinant galima pasakyti, kad mazgų ribotas maršrutas „Deepseek-V3“ optimizuoja ryšio pridėtines išlaidas, apribodamas kiekvieno prieigos rakto mazgų skaičių, taip sumažindama įvairių mazgų ryšio sąnaudas ir pagerindamas bendrą sistemos efektyvumą. Šį požiūrį papildo dinaminės apkrovos balansavimo strategijos, kad būtų užtikrintas optimalus išteklių panaudojimas modelio mokymo ir išvadų metu.
Citatos:
[1] https://machinelarningatscale.substack.com/p/deepseek-v3-model
[2] https://aman.ai/primers/ai/deepseek-r1/
[3] https://martinfowler.com/articles/deepseek-papers.html
[4] https://github.com/deepseek-ai/open-infra-index/blob/main/202502oPenSourceweek/day_6_one_more_Thing_deepseekv3r1_inference_syst_oview.md
[5] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[6] https://natlawreview.com/article/deepseek-aiS-security-woes-imprisonations- what-you-reed-know
[7] https://arxiv.org/pdf/2412.19437.pdf
[8] https://builtin.com/artificial-intelligence/how-implement-deepseek-docally