„Deepseek“, naujas didelės kalbos modelis (LLM), demonstruoja reikšmingus skaičiavimo išteklių naudojimo pranašumus, palyginti su kitais modeliais, tokiais kaip GPT-4 ir Claude Sonnet 3.5.
Efektyvus parametrų aktyvinimas
„Deepseek“ naudoja ekspertų mišinio (MOE) architektūrą, o tai reiškia, kad iš visų 671 milijardo parametrų bet kurią užduotį suaktyvinami tik 37 milijardai. Šis selektyvus aktyvavimas leidžia „Deepseek“ išlaikyti aukštą našumą ir drastiškai sumažinti skaičiavimo išlaidas. Palyginimui, tradiciniai modeliai dažnai naudoja visus savo parametrus kiekvienai užduočiai, todėl padidėja išteklių sunaudojimas [1] [2].mokymo efektyvumas
„Deepseeek-V3“ mokymui reikėjo maždaug 2,788 mln. GPU valandų, naudojant „NVIDIA H800“ lustus, iš kurių išlaidos būtų maždaug 576 mln. USD. Tai yra nepaprastai mažai, palyginti su kitais pirmaujančiais modeliais, kuriems gali patirti dešimties kartų didesnės išlaidos už panašias treniruočių užduotis [3] [7]. Efektyvumas atsiranda dėl optimizuotų algoritmų ir aparatinės įrangos projektavimo, kuris mokymo metu sumažina pridėtines išlaidas, todėl kūrėjams tai yra ekonomiškai efektyvi galimybė [4].Performanso metrika
Nepaisant efektyvaus išteklių naudojimo, „Deepseek“ įspūdingai veikia įvairiuose etalonuose. Pavyzdžiui, jis surinko 73,78% „Humaneval“ už kodavimo užduotis ir 84,1% GSM8K dėl problemų sprendimo, pralenkdamas daugelį konkurentų, tuo pačiu suvartojant mažiau išteklių [1] [4]. Šis našumas pasiekiamas mažiau nei 6% jo parametrų aktyvių bet kuriuo metu, parodant jo sugebėjimą pateikti aukštos kokybės išėjimus be didelių skaičiavimo reikalavimų, būdingų kitoms LLM.konteksto tvarkymas
„Deepseek“ taip pat puikiai tinka tvarkant ilgus kontekstinius langus, palaikančius iki 128 k tokų, o tai yra žymiai daugiau nei daugelis kitų modelių, kurie paprastai tvarko nuo 32k iki 64 km. Ši galimybė padidina savo naudą atliekant sudėtingas užduotis, tokias kaip kodo generavimas ir duomenų analizė [1].Išvada
Apibendrinant galima pasakyti, kad „Deepseek“ novatoriškas MOE architektūros panaudojimas leidžia jai suaktyvinti tik dalį savo parametrų atliekant užduotis, todėl skaičiavimo ištekliai ir išlaidos sutaupo žymiai. Efektyvus mokymo procesas ir stipri našumo metrika yra didžiulė konkurentas didelių kalbų modelių kraštovaizdyje, ypač tam, kad būtų užtikrintas tiek efektyvumas, tiek aukštas našumas.Citatos:
[1] https://daily.dev/blog/deepseek-everything-you-reed-to-know-out-about-this-new-llm-in-one-place
[2] https://blog.spheron.network/why-deepseek-v3-is-the-llm-everyones-talking-out
[3] https://stratechery.com/2025/deepseek-faq/
[4] https://arxiv.org/html/2412.19437v1
[5] https://seo.ai/blog/deepseek-ai-statistics-and-facts
[6] https://www.linkedin.com/pulse/comparling-deepseek-r1-openai-o1- which-ai-model-comes out-pablo-8wtxf
[7] https://www.reuters.com/technology/artificial-intelligence/what-is-deepseek-why-is-it-disrunting-ai-sector-2025-01-27/
[8] https://adaci.org/deepseek-v3-oxplied-optimizing-fefictity-and-cale/