Výkon DeepSeek v humánnej referenčnej hodnote ukazuje pozoruhodnú výhodu oproti GPT-4. Konkrétne, Deepseek dosiahol 73,78% priechodnú mieru na Humaneval, čo hodnotí schopnosti kódovania, zatiaľ čo GPT-4 získal približne 67% pri podobných hodnoteniach [1] [2]. To naznačuje, že DeepSeek je účinnejší pri vytváraní a riešení problémov s kódovaním v porovnaní s GPT-4.
Pokiaľ ide o efektívnosť, Deepseek využíva architektúru zmesi expertov (MOE), ktorá aktivuje iba 37 miliárd z jej celkových 671 miliárd parametrov pre úlohy, čo jej umožňuje udržiavať vysoký výkon s výrazne nižšími výpočtovými nákladmi, údajne 214,3-krát lacnejšie ako GPT -4 pre spracovanie tokenov [1] [2]. Táto účinnosť sa premieta do rýchlejších a presnejších schopností generovania a ladenia kódu, vďaka čomu je Deepseek presvedčivá voľba pre vývojárov.
Okrem kontextu DeepSeek je navyše podstatne väčšie pri žetónoch 128 000 v porovnaní s maximom 8K tokenov GPT-4, čo mu umožňuje zvládnuť rozsiahlejšie vstupy počas spracovania [1] [2]. Táto funkcia môže byť obzvlášť výhodná pre komplexné kódovacie úlohy, ktoré si vyžadujú väčší kontext.
Celkovo Deepseek nielen prevyšuje GPT-4, pokiaľ ide o výkon kódovania na HumaneVal, ale ponúka aj významné výhody nákladov a efektívnosti, ktoré sa umiestnia ako silná alternatíva v krajine veľkých jazykových modelov.
Citácie:[1] https://daily.dev/blog/deepseek-everything-you-eed-to-know-about-about-his-new-llm-in-one-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.Findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
Https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/