Deepseek-R1 toont sterke prestaties in verschillende benchmarks, waaronder zowel de SWE-geverifieerde als codeforces benchmarks. Hier is een gedetailleerde vergelijking van de prestaties op deze twee benchmarks:
SWE geverifieerde benchmark
Op de SWE-geverifieerde benchmark behaalt Deepseek-R1 een score van 49,2%, wat iets vooruit is op Openai's O1-1217 bij 48,9%[2] [3]. Deze benchmark evalueert de redenering van een model in software -engineeringtaken, gericht op taken zoals codeverificatie en foutopsporing. Terwijl Deepseek-R1 goed presteert, richt Claude-3.5-SONNET-1022 het enigszins uit met een score van 50,8%[3].CodeForces benchmark
Deepseek-R1 daarentegen blinkt uit in de CodeForces-benchmark, met een percentiel van 96,3 en een ELO-rating van 2029 [3] [4]. Dit plaatst het onder de beste artiesten in competitieve codering, nauw na Openai O1-1217, die leidt met een percentiel van 96,6 en een rating van 2061 [3]. De CodeForces -benchmark beoordeelt de codering en algoritmische redeneermogelijkheden van een model door de prestaties te vergelijken met menselijke deelnemers.Vergelijking
Terwijl Deepseek-R1 competitief presteert op beide benchmarks, zijn de prestaties meer uitgesproken op de benchmark CodeForces. Dit suggereert dat Deepseek-R1 bijzonder bedreven is in het oplossen van algoritmische en coderende uitdagingen, die meer gestructureerd zijn en precieze logische redenering vereisen. Op de SWE -geverifieerde benchmark, hoewel deze goed presteert, is het iets minder dominant in vergelijking met zijn prestaties op codeforces. Dit geeft aan dat Deepseek-R1 misschien meer geschikt is voor taken die algoritmisch redeneren vereisen in plaats van die gericht op softwareverificatie en foutopsporing.Over het algemeen toont Deepseek-R1 veelzijdigheid over verschillende soorten codering en redeneringstaken, maar de sterke punten ervan zijn duidelijker in algoritmische probleemoplossing.
Citaten:
[1] https://www.prompthub.us/blog/deepseek-r-re-model-overview-and-how-it-ranks-Against-Openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-which-is-best-forcoding/
[4] https://techcrunch.com/2025/01/27/deepseek-claims-its-radening-model-beats-penais-o1-on-certain-bankmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inferentie-costs
[6] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analyse-of-radening-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1