Deepseeka ekspertu maisījuma (MOE) sistēma uzlabo efektivitāti, izmantojot novatoriskas arhitektūras stratēģijas, kas optimizē parametru izmantošanu un skaitļošanas izmaksas, vienlaikus saglabājot augstas veiktspējas.
Galvenās uzlabotas efektivitātes stratēģijas
1. Smalkgraudainu ekspertu segmentēšana:
DeepSeekmoe iepazīstina ar ekspertu segmentēšanas metodi mazākās, specializētākajās vienībās. Sadalot barības nervu tīkla (FFN) starpposma slēptos izmērus, sistēma var aktivizēt lielāku skaitu smalkgraudainu ekspertu, nepalielinot kopējo parametru skaitu. Šī smalkā segmentēšana ļauj precīzāk sadalīt zināšanas visos ekspertos, nodrošinot, ka katrs eksperts koncentrējas uz atšķirīgiem datu aspektiem, tādējādi uzlabojot specializāciju un samazinot atlaišanu starp aktivētajiem parametriem [1] [2].
2. Kopīga eksperta izolācija:
Arhitektūra izolē noteiktus ekspertus, kas darbojas kā kopīgas vienības, kuras vienmēr ir aktivizētas. Šī stratēģija atspoguļo un konsolidē vispārējās zināšanas dažādos kontekstos, kas mazina atlaišanu starp citiem maršrutētajiem ekspertiem. Saspiežot vispārējās zināšanas šajos kopīgajos ekspertos, DeepSeekmoe nodrošina, ka katrs maršrutētais eksperts var koncentrēties uz unikālu informāciju, tādējādi uzlabojot parametru efektivitāti un specializāciju [2] [4].
Veiktspējas rezultāti
DeepSeekMoe demonstrē ievērojamu veiktspējas pieaugumu ar mazāk aprēķinu. Piemēram, modelis ar 2 miljardiem parametru sasniedz salīdzināmus rezultātus ar lielākiem modeļiem (piemēram, GSHARD ar 2,9 miljardiem parametru), vienlaikus izmantojot tikai aptuveni 40% no aprēķina resursiem [1]. Turklāt, saskaroties ar 16 miljardiem parametru, tas saglabā konkurences veiktspēju pret citiem modeļiem, piemēram, LLAMA2, vienlaikus ievērojami samazinot skaitļošanas prasības [1] [2].
Rezumējot, DeepSeek MOE sistēma uzlabo efektivitāti, ļaujot mērķtiecīgi aktivizēt specializētos ekspertus un samazināt atlaišanu, izmantojot kopīgas zināšanu struktūras. Tā rezultātā tiek iegūts jaudīgs, bet resurss efektīvs modelis, kas spēj efektīvi veikt sarežģītus uzdevumus.
Atsauces:[1] https://aclanthology.org/2024.acl-long.70/
[2] https://arxiv.org/html/2401.06066v1
[3] https://www.reddit.com/r/localllama/comments/1clkld3/deepseekv2_a_strong_economical_and_effest/
[4] https://aclanthology.org/2024.acl-long.70.pdf
[5] https://arxiv.org/abs/2405.04434
[6.]
[7] https://openreview.net/forum?id=mwhan6r7os
[8] https://seo.ai/blog/deepseek-ai-statistics-nacts
[9] https://arxiv.org/html/2405.04434v3
[10] https://daily.dev/blog/deepseek-everything-you-need-to-know-about-this-new-llm-in -one-vietā