„Deepseek-V3“ siekia ekstremalaus disbalanso per vieną seką, derinant novatoriškas strategijas, skirtas išlaikyti subalansuotą ekspertų panaudojimą ir pagerinti našumą.
PAGRINDINIŲ LAIKŲ PALUMINIMO STRATEGIJA
„Deepseek-V3“ naudojama pagalbinių nuostolių, neturinčių apkrovos balansavimo strategija tarp jo ekspertų mišinio (MOE) architektūros. Šis metodas dinamiškai koreguoja šališkumo terminus, susijusius su kiekvienu ekspertu, atsižvelgiant į jų naudojimą mokymo metu. Tiksliau, jei ekspertas yra per daug naudojamas, jo šališkumas sumažėja, kad sumažintų atrankos tikimybę, o nepakankamai išnaudotos ekspertai mato jų šališkumo padidėjimą, kad padidintų jų atrankos tikimybę. Šis dinaminis koregavimas padeda užtikrinti, kad visi ekspertai būtų tolygiau panaudojami per visą mokymo procesą, taip neleidžiant bet kuriam ekspertui perkrauti [1] [3].sekos ir pusiausvyros praradimas
Be papildomos strategijos be nuostolių, „Deepseek-V3“ apima papildomą sekos pusiausvyros nuostolį. Ši praradimo funkcija yra specialiai sukurta siekiant išvengti kraštutinio disbalanso atskirose sekose. Taikant nedidelį balanso koeficientą, modelis skatina vienodesnį ekspertų apkrovos pasiskirstymą per žetonus iš eilės. Šis požiūris užtikrina, kad nė vienas vienas žetonas neproporcingai paveiktų bendrą modelio našumą dėl nesubalansuoto ekspertų panaudojimo [1] [4].smulkiagrūdis kvantizavimas
„Deepseek-V3“ taip pat naudoja smulkiagrūdį kvantizavimo strategiją, kad efektyviai valdytų aktyvavimo nuokrypius. Šis metodas apima mastelio aktyvaciją granuliuotesniu lygiu, o ne pritaikyti vieną mastelio koeficientą visose vertėse. Grupuodamas aktyvacijas ir svorius į mažesnes plyteles, modelis gali geriau valdyti ekstremalias vertes neprarandant tikslumo tipiškesnėms vertėms. Šis detalumas padeda sušvelninti pašaliniųjų poveikį treniruotėms.Išvada
Naudodamiesi šiomis kombinuotomis strategijų dinaminiu šališkumo koregavimu ekspertų panaudojimui ir sekos balanso nuostoliams „Deepseek-V3“ veiksmingai valdo ekstremalų disbalansą sekose, optimizuodamas našumą ir išteklių efektyvumą. Šis daugialypis metodas leidžia jam išlaikyti aukštą tikslumą ir stabilumą treniruotėse, net kai susiduria su įvairiais ir iššūkiais keliančiais duomenų įvestimis.Citatos:
[1] https://arxiv.org/html/2412.19437v1
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-akeaways-from-deepseek-v3?lang=en
[3] https://ai.plainenglish.io/deepseek-v3-how-theey-hieded-big-results-with-small-compute-fb694606d59a?gi=f48ced057a1f
[4] https://www.linkedin.com/posts/sagar-s-desai_deepseekv3-mixtureofexperts-liguagemodel-activity-7278419435395170304-Meki
[5] https://arxiv.org/pdf/2412.19437.pdf
[6] https://planetbanatt.net/articles/deepseek.html
[7] https://www.youtube.com/watch?v=ypxtz3i6xvo
[8] https://ventureebeat.com/ai/deepseek-v3-ultra-large-open-source- ai-outperforms-llama-and-qwen-on-launch/