HumaneVal 벤치 마크에서 DeepSeek의 성능은 GPT-4보다 주목할만한 이점을 보여줍니다. 구체적으로, DeepSeek은 Humaneval에서 73.78%의 합격률을 달성하여 코딩 기능을 평가하는 반면, GPT-4는 유사한 평가에서 약 67%를 기록했다 [1] [2]. 이는 DeepSeek이 GPT-4에 비해 코딩 문제를 생성하고 해결하는 데 더 효과적임을 나타냅니다.
효율성 측면에서 DeepSeek은 작업에 대한 총 6710 억 매개 변수 중 37 억 개만 활성화하는 MOE (Mix-of-Experts) 아키텍처를 사용하여 GPT보다 214.3 배 더 저렴한 것으로 알려진 것으로 알려져 있습니다. 토큰 처리의 경우 -4 [1] [2]. 이 효율성은 더 빠르고 정확한 코드 생성 및 디버깅 기능으로 이어져 개발자에게 깊은 선택이됩니다.
더욱이, DeepSeek의 컨텍스트 윈도우는 GPT-4의 최대 8K 토큰에 비해 128K 토큰에서 실질적으로 더 크기 때문에 처리 중에 더 광범위한 입력을 처리 할 수 있습니다 [1] [2]. 이 기능은 더 큰 컨텍스트가 필요한 복잡한 코딩 작업에 특히 유리할 수 있습니다.
전반적으로, DeepSeek는 Humaneval의 코딩 성능 측면에서 GPT-4를 능가 할뿐만 아니라 상당한 비용 및 효율성 혜택을 제공하여 대형 언어 모델의 환경에서 강력한 대안으로 자리 매김합니다.
인용 :[1] https://daily.dev/blog/deepseek-evely-need-to- know-bout-tis-newlm-in-on-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/