Виступ DeepSeek на гаманевальній орієнтирі показує помітну перевагу перед GPT-4. Зокрема, DeepSeek досяг 73,78% пропуску на Humaneval, який оцінює можливості кодування, тоді як GPT-4 набрав близько 67% за аналогічні оцінки [1] [2]. Це вказує на те, що DeepSeek є більш ефективним у генеруванні та вирішенні проблем кодування порівняно з GPT-4.
З точки зору ефективності, DeepSeek використовує архітектуру суміші експертів (МОЕ), яка активує лише 37 мільярдів своїх загальних 671 мільярдів параметрів для завдань, що дозволяє йому підтримувати високу продуктивність із значно нижчими обчислювальними витратами, як повідомляється -4 для обробки токенів [1] [2]. Ця ефективність перетворюється на більш швидкі та точніші можливості генерації та налагодження коду, що робить DeepSeek переконливим вибором для розробників.
Більше того, контекстне вікно DeepSeek значно більший при 128 тис. Жетонах, порівняно з максимум 8-к-лакенів GPT-4, що дозволяє йому обробляти більш широкі входи під час обробки [1] [2]. Ця функція може бути особливо вигідною для складних завдань кодування, які потребують більшого контексту.
В цілому DeepSeek не тільки перевершує GPT-4 з точки зору кодування ефективності на Humaneval, але також пропонує значні вигоди від витрат та ефективності, позиціонуючи себе як сильну альтернативу в ландшафті великих мовних моделей.
Цитати:[1] https://daily.dev/blog/deepseek-everything-you-need-to-know-about-this-new-llm-in-one-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepeek_v3_is_it_truly_better_than/