V Deepseek-V3 hrá Afinity skóre rozhodujúcu úlohu v procese výberu odborníkov v rámci svojej architektúry zmesi expertov (MOE). Táto architektúra je navrhnutá tak, aby efektívne zvládla rozsiahle úlohy jazykového modelovania dynamickou aktiváciou podskupiny odborníkov na základe vstupných tokenov.
Výpočet skóre ###
Skóre afinity sa vypočíta ako produkt dot vloženia vstupného tokenu a strednej ťažby špecifického odborníka. Centroid možno považovať za reprezentatívny vektor pre každého odborníka, ktorý by mohol byť odvodený z priemerných aktivácií alebo vstupov, ktoré odborné procesy procesy. Tento produkt dot meria, ako úzko je zarovnaný token s odbornosťou každého dostupného odborníka.
Výberový proces odborníka
1. Top-K smerovanie: Pre každý vstupný token, Deepseek-V3 vyberie najlepších 8 odborníkov s najvyšším skóre afinity. Tento proces je známy ako smerovanie Top-K, kde K je v tomto prípade fixovaný na 8 [1] [7].
2. Úprava zaujatosti: Aby sa zabránilo kolapsu smerovania, kde je príliš veľa tokenov smerovaných k rovnakým odborníkom, Deepseek-V3 zavádza dynamické nastavenie zaujatosti. Každý odborník má zaujatosť $$ B_I $$, ktorý sa počas smerovania pridáva k jeho afinitnému skóre. Ak je expert preťažený, jeho zaujatosť sa zníži a ak je nedostatočne využívaná, jeho zaujatosť sa zvýši. Táto úprava pomáha udržiavať vyvážené pracovné zaťaženie všetkých odborníkov bez použitia explicitných pomocných strát [1] [3].
3. Mechanizmus hradlovania: Mechanizmus hradlovania vypočíta skóre pre každý token a na základe týchto skóre vyberie najrelevantnejších smerovaných odborníkov. To zaisťuje, že model efektívne prideľuje výpočtové zdroje iba aktiváciou potrebných odborníkov pre každý token [3].
Výhody skóre afinity
- Účinnosť: Výberom odborníkov na základe skóre afinity, Deepseek-V3 znižuje výpočtové náklady aktiváciou iba zlomku celkových parametrov modelu pre každý token. To má za následok efektívnejšie inferenčné a školiace procesy [4] [8].
- Špecializácia: Skóre afinity umožňuje lepšiu špecializáciu odborníkov. Každý odborník sa môže zamerať na konkrétne vzorce alebo úlohy, čím sa zlepší celková reprezentatívna sila a schopnosť zvládať rôzne vstupy [1] [2].
- Stabilita: Úprava dynamickej zaujatosti zaisťuje, že žiadny odborník nie je preťažený, čím sa udržiava stabilita počas tréningu aj inferencie. To bráni tomu, aby model klesol v dôsledku preťaženia, čo bol problém v predchádzajúcich verziách [2] [3].
Stručne povedané, skóre afinity v Deepseek-V3 je rozhodujúce pre dynamický výber najrelevantnejších odborníkov pre každý vstupný token, zabezpečuje efektívne a špecializované spracovanie pri zachovaní stability modelu.
Citácie:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit-mixture-experts-moe-models-qi-he--nkgbe
[5] https://www.linkedin.com/pulse/unpacking-deepseek-v3-technical-innovations-Question-cost-statton-juplc
[6] https://latenode.com/blog/deepseek-v3-and-deepseek-r1-integrations-are-now-on-on-latenode
[7] https://www.linkedin.com/pulse/dynamicalky-selecting-number-expert-moe-models-like-deepseek-rosi%C4%C4%87-ckytf
[8] https://arxiv.org/html/2412.19437v1
[9] https://www.bentoml.com/blog/the-Complete-guide-toeepseek-models-models-models-models-models-models--v3-1-d1-and------ nebes