Výkon DeepSeeka na benchmarku Humanivalu ukazuje pozoruhodnou výhodu oproti GPT-4. Konkrétně Deepseek dosáhl 73,78% míry průchodu na Humanivalu, který hodnotí schopnosti kódování, zatímco GPT-4 skóroval kolem 67% v podobných hodnoceních [1] [2]. To ukazuje, že Deepseek je účinnější při vytváření a řešení problémů s kódováním ve srovnání s GPT-4.
Pokud jde o účinnost, Deepseek používá architekturu směsi expertů (MOE), která aktivuje pouze 37 miliard z celkových 671 miliard parametrů pro úkoly, což jí umožňuje udržovat vysoký výkon s výrazně nižšími výpočetními náklady-údajně 214,3krát levnější než GPT -4 pro zpracování tokenů [1] [2]. Tato účinnost se promítá do rychlejší a přesnější schopnosti generování kódu a ladění, díky čemuž je Deepseek pro vývojáře přesvědčivou volbou.
Kromě toho je kontextové okno Deepseek podstatně větší při 128 tisících tokenech ve srovnání s maximálně 8k tokeny GPT-4, což mu umožnilo zvládnout rozsáhlejší vstupy během zpracování [1] [2]. Tato funkce může být obzvláště výhodná u komplexních úkolů kódování, které vyžadují větší kontext.
Celkově Deepseek nejen překonává GPT-4 z hlediska kódovacího výkonu na Humanivalu, ale také nabízí značné výhody nákladů a efektivity a umístí se jako silná alternativa v krajině modelů velkých jazyků.
Citace:[1] https://daily.dev/blog/deepseek-everything-you-n-nnow-out-this-new-lm-in-one-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/