Tõhus parameetrite aktiveerimine
Deepseek kasutab ekspertide segu (MOE) arhitektuuri, mis tähendab, et kogu 671 miljardi parameetrist aktiveeritakse mis tahes ülesande jaoks ainult 37 miljardit. See valikuline aktiveerimine võimaldab Deepseekil säilitada kõrge jõudlust, vähendades samal ajal arvutuskulusid drastiliselt. Võrdluseks kasutavad traditsioonilised mudelid sageli kõiki oma parameetreid iga ülesande jaoks, mis põhjustab ressursside suuremat tarbimist [1] [2].Treeningu tõhusus
Deepseek-V3 koolitus nõudis NVIDIA H800 kiipi kasutades umbes 2,788 miljonit GPU tundi, mis tähendab umbes 5,576 miljonit dollarit kulusid. See on märkimisväärselt madal võrreldes teiste juhtivate mudelitega, mis võivad sarnaste treeningülesannete puhul kulusid kümme korda kõrgemad [3] [7]. Tõhusus tuleneb optimeeritud algoritmidest ja riistvara kaaskujundusest, mis minimeerivad treeningu ajal üldkulusid, muutes selle arendajatele kulutõhusaks võimaluseks [4].Performance mõõdikud
Vaatamata tõhusale ressursside kasutamisele toimib Deepseek muljetavaldavalt erinevatel võrdlusalustel. Näiteks saavutas see kodeerimisülesannete osas 73,78% ja GSM8K puhul 84,1% probleemide lahendamise eest, edestades paljusid konkurente, tarbides samal ajal vähem ressursse [1] [4]. See jõudlus saavutatakse vähem kui 6% selle parameetritest igal ajal aktiivselt, näidates selle võimet pakkuda kvaliteetseid väljundeid ilma teistele LLM-idele tüüpiliste ulatuslike arvutusnõueteta.Konteksti käitlemine
Deepseek on silma paista ka pika konteksti akendega, toetades kuni 128 000 žetooni, mis on märkimisväärselt rohkem kui paljud teised mudelid, mis tavaliselt käivad vahemikus 32–64 000 žetooni. See võime suurendab selle kasulikkust keerukates ülesannetes nagu koodide genereerimine ja andmete analüüs [1].Järeldus
Kokkuvõtlikult võimaldab Deepseeki uuenduslik MOE arhitektuuri kasutamine aktiveerida ülesannete ajal vaid murdosa oma parameetritest, mille tulemuseks on arvutusressursside ja kulude märkimisväärne kokkuhoid. Selle tõhus koolitusprotsess ja tugevad jõudlusmõõdikud positsioneerivad seda suurte keelemudelite maastikul, eriti nii tõhusust kui ka suurt jõudlust vajavate rakenduste jaoks.Tsitaadid:
]
]
[3] https://stratechery.com/2025/deepseek-faq/
[4] https://arxiv.org/html/2412.19437v1
[5] https://seo.ai/blog/deepseek-ai-statistika-and-facts
]
]
[8] https://adasci.org/deepseek-v3-plapined-optizizing-efficy-and-and-scale/