DeepSeek-R1은 LiveCodeBench 및 Codeforces를 포함한 다양한 코딩 벤치 마크에서 강력한 성능을 보여줍니다. 다음은이 두 벤치 마크에서의 성능에 대한 자세한 비교입니다.
livecodebench 벤치 마크
LiveCodeBench 벤치 마크에서 DeepSeek-R1은 65.9%의 1 점을 얻었습니다 [7]. 이 벤치 마크는 실제 코딩 기술에 중점을 둔 실제 시나리오에서 코드를 작성하고 실행하는 모델의 능력을 평가합니다. 이 점수는 경쟁력이 있지만 즉각적인 실행 및 피드백이 필요한 코딩 작업을 처리 할 수있는 DeepSeek-R1의 기능을 강조합니다.Codeforces 벤치 마크
대조적으로, Codeforces 벤치 마크에서 DeepSeek-R1은 2029 년의 ELO 등급을 달성했습니다 [3] [4]. Codeforces는 경쟁력있는 프로그래밍 문제를 통해 코딩 기술을 평가하여 알고리즘 추론 및 문제 해결을 강조하는 플랫폼입니다. 높은 ELO 등급은 참가자의 최고 백분위 수에 DeepSeek-R1을 배치하여 복잡한 알고리즘 문제를 해결하는 데 강력한 능력을 나타냅니다. 이 성능은 DeepSeek-R1이 전략적 사고 및 코딩 효율이 필요한 작업에서 탁월하다는 것을 시사합니다.비교
두 벤치 마크는 코딩 능력을 평가하지만 다른 측면에 중점을 둡니다. LiveCodeBench는 실제 코딩 실행을 강조하는 반면 코드 포스는 경쟁 알고리즘 문제 해결에 중점을 둡니다. DeepSeek-R1은 두 가지 모두에서 잘 수행되지만 Codeforces에 대한 ELO 등급이 높으면 복잡한 코딩 문제를 해결하는 데 더 강한 능력이 있음을 나타냅니다. 이는 DeepSeek-R1이 전략적 코딩 및 알고리즘 추론이 필요한 작업을 처리하는 데 특히 능숙 함을 시사합니다.전반적으로, 이러한 벤치 마크에서 DeepSeek-R1의 성능은 실제 실행에서 경쟁 문제 해결에 이르기까지 다양한 유형의 코딩 작업을 처리하는 데있어서의 다양성을 강조합니다.
인용 :
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-ranks-against-openais-o1
[2] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_how_good_it_is_is_coped/
[3] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-analysis-of-rasoning-models/
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3------o3
[6] https://www.reddit.com/r/localllama/comments/1i5q6b9/deepseekr1_and_distild_benchmarks_color_coded/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://codeforces.com/blog/entry/138735