A DeepSeek-R1 erős teljesítményt mutat a különféle referenciaértékek között, beleértve az SWE által ellenőrzött és a CodeForces referenciaértékeket is. Íme egy részletes összehasonlítás annak előadásáról e két referenciaértéken:
swe ellenőrzött referenciaérték
Az SWE által ellenőrzött referenciaértéken a DeepSeek-R1 49,2%-os pontszámot ér el, ami kissé meghaladja az Openai O1-1217 48,9%-át [2] [3]. Ez a referenciaérték kiértékeli a modell érvelését a szoftverfejlesztési feladatokban, olyan feladatokra összpontosítva, mint a kód -ellenőrzés és a hibakeresés. Miközben a DeepSeek-R1 jól teljesít, a Claude-3,5-Sonnet-1022 kissé 50,8%-os pontszámmal haladja meg [3].CodeForces Benchmark
Ezzel szemben a DeepSeek-R1 kiemelkedik a CodeForces referenciaértékén, 96,3 százalékos és 2029-es ELO-besorolást érve [3] [4]. Ez a versenyképes kódolásban a legjobban teljesítő szereplők közé tartozik, szorosan követve az Openai O1-1217-et, amely 96,6-os százalékkal és 2061-es besorolással vezet [3]. A CodeForces Benchmark a modell kódolási és algoritmikus érvelési képességeit értékeli az emberi résztvevőkkel való teljesítményének összehasonlításával.Összehasonlítás
Míg a DeepSeek-R1 mindkét referenciaértéken versenyképes teljesít, teljesítménye jobban kiejti a CodeForces referenciaértékét. Ez arra utal, hogy a DeepSeek-R1 különösen ügyes az algoritmikus és kódolási kihívások megoldásában, amelyek strukturáltabbak és pontos logikai érvelést igényelnek. A SWE által ellenőrzött referenciaértéken, bár jól teljesít, kissé kevésbé domináns a kódforrák teljesítményéhez képest. Ez azt jelzi, hogy a DeepSeek-R1 jobban megfelelhet az algoritmikus érvelést igénylő feladatokhoz, nem pedig a szoftver ellenőrzésére és hibakeresésire összpontosító feladatokra.Összességében a DeepSeek-R1 sokoldalúságot mutat a különféle típusú kódolási és érvelési feladatok között, ám erősségei jobban nyilvánvalóak az algoritmikus problémamegoldásban.
Idézetek:
[1] https://www.prompthub.us/blog/deepseek-r--model-overview-and-how-it-tanks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-nonnet-wich-s-t-for-coding/
[4] https://techcrunch.com/2025/01/27/deepseek-caims-its-reason-model-beats-openais-o1-on-ceral-fenchmarks/
[5] https://forum.effectivealtruism.org/posts/d3bmyu5gte8xriz/is-deepseek-r1-already-better-o3-when-inference-costs
[6] https://blog.prompptlayer.com/openai-o3-vs-deepseek-r1-an-analys-of-deason-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1