DeepSeek-R1 ukazuje silný výkon v různých benchmarcích, včetně SWE Ověřených a CodeForces Benchmarks. Zde je podrobné srovnání jeho výkonu na těchto dvou benchmarcích:
Sweerified Benchmark
- Výkon: DeepSeek-R1 dosáhl skóre 49,2% na ověřeném benchmarku SWE, které hodnotí zdůvodnění v úkolech softwarového inženýrství. Toto skóre je o něco před 48,9% OpenAI O1-1217, ale mírně za 50,8% [2] [3].- Zaměření na úkol: SWE ověřený benchmark se zaměřuje na úkoly související s ověřením softwaru, což vyžaduje, aby model prokázal jeho schopnost uvažovat o koncepcích softwarového inženýrství.
CodeForces Benchmark
-Výkon: Na benchmarku CodeForces dosáhl DeepSeek-R1 percentilní pořadí 96,3 a hodnocení Elo 2029. To jej umístí do nejvyššího percentilu účastníků, i když je mírně za OpenAI O1-1217, který skóroval procentule 96,6 a elo hodnocení 2061 [2] [2] [2] [3].- Zaměření na úkol: Benchmark CodeForces hodnotí schopnosti kódování a algoritmické uvažování modelu porovnáním svého výkonu s lidskými účastníky v konkurenčních výzvách kódování.
Stručně řečeno, zatímco DeepSeek-R1 provádí konkurenceschopné na obou benchmarcích, ukazuje silnější relativní výkon na benchmarku CodeForces, kde se mezi účastníky řadí velmi vysoko. Na základě SWE ověřeného benchmarku je však jeho výkon také silný, ale o něco méně konkurenceschopný ve srovnání s některými jinými modely, jako je Claude-3,5-spon-1022. Celkově DeepSeek-R1 prokazuje robustní schopnosti v úkolech kódování i softwaru.
Citace:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-it-ranks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-g-o1-VS-Claude-3-5-Sonet-which-is-best- for-coding/
[4] https://techcrunch.com/2025/01/27/deepseek-taims-its-leasoning-Model-beats-openais-o1-on-benchmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-d-already-tetter-than-o3-when-inference-costs
[6] https://blog.promptLayer.com/openai-o3-vs-deepseek-r1-an-analýza-o--o-leasoning-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1