Deepseek-R1 toont sterke prestaties in verschillende benchmarks, waaronder de SWE-geverifieerde en codeforces-benchmarks. Hier is een gedetailleerde vergelijking van de prestaties op deze twee benchmarks:
SWE geverifieerde benchmark
- Prestaties: Deepseek-R1 behaalde een score van 49,2% op de SWE-geverifieerde benchmark, die redenering evalueert in software-engineeringtaken. Deze score loopt iets voor op de 48,9% van Openai O1-1217, maar iets achter de 50,8% [2] [3] van Claude-3.5-SONNET-1022.- Taakfocus: de SWE -geverifieerde benchmark richt zich op taken met betrekking tot software -verificatie, waardoor het model zijn vermogen om te redeneren over software -engineeringconcepten aan te tonen.
CodeForces benchmark
-Prestaties: op de benchmark van CodeForces behaalde Deepseek-R1 een percentielranglijst van 96.3 en een ELO-rating van 2029. Dit plaatst het in het toppercentiel van de deelnemers, hoewel het iets achter Openai O1-1217 ligt, die een percentiel van 96,6 en een ELO-rating van 2061 [2] [3] ligt.- Taakfocus: de CodeForces -benchmark beoordeelt de codering en algoritmische redeneermogelijkheden van een model door de prestaties te vergelijken tegen menselijke deelnemers in concurrerende coderingsuitdagingen.
Samenvattend, terwijl Deepseek-R1 competitief presteert op beide benchmarks, toont het een sterkere relatieve prestaties op de CodeForces-benchmark, waar het erg hoog staat onder de deelnemers. Op de SWE-geverifieerde benchmark zijn de prestaties echter ook sterk maar iets minder competitief in vergelijking met sommige andere modellen zoals Claude-3.5-Sonnet-1022. Over het algemeen vertoont Deepseek-R1 robuuste mogelijkheden in zowel coderings- als software-verificatietaken.
Citaten:
[1] https://www.prompthub.us/blog/deepseek-r-re-model-overview-and-how-it-ranks-Against-Openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-which-is-best-forcoding/
[4] https://techcrunch.com/2025/01/27/deepseek-claims-its-radening-model-beats-penais-o1-on-certain-bankmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inferentie-costs
[6] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analyse-of-radening-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1