Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon Как выступление DeepSeek на Humaneval сравнивается с GPT-4


Как выступление DeepSeek на Humaneval сравнивается с GPT-4


Выступление DeepSeek на эталоне Humaneval показывает заметное преимущество перед GPT-4. В частности, Deepseek достиг 73,78% -ной скорости прохода на гумане, который оценивает возможности кодирования, в то время как GPT-4 набрал около 67% в аналогичных оценках [1] [2]. Это указывает на то, что DeepSeek более эффективен в создании и решении проблем кодирования по сравнению с GPT-4.

С точки зрения эффективности, DeepSeek использует архитектуру смеси экспертов (MOE), которая активирует всего 37 миллиардов от общего числа 671 миллиарда параметров для задач, что позволяет ему поддерживать высокую производительность со значительно более низкими затратами на вычислительные средства, как сообщается, 214,3 раза дешевле, чем GPT -4 для обработки токена [1] [2]. Эта эффективность приводит к более быстрому и более точным возможностям генерации кода и отладки, что делает DeepSeek убедительным выбором для разработчиков.

Более того, контекстное окно DeepSeek значительно больше в токенах 128 тыс. По сравнению с максимумом GPT-4 токенов 8K, что позволяет ему обрабатывать более обширные входы во время обработки [1] [2]. Эта функция может быть особенно выгодной для сложных задач кодирования, которые требуют большего контекста.

В целом, DeepSeek не только превосходит GPT-4 с точки зрения эффективности кодирования на гумане, но также предлагает значительные выгоды затрат и эффективности, позиционируя себя как сильную альтернативу в ландшафте крупных языковых моделей.

Цитаты:
[1] https://daily.dev/blog/deepseek-everything-you-need-to-know-about-this-new-llm-in-one-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/