A DeepSeek-R1 erős teljesítményt mutat a különféle referenciaértékek között, beleértve az SWE által ellenőrzött és a CodeForces referenciaértékeket. Íme egy részletes összehasonlítás annak előadásáról e két referenciaértéken:
swe ellenőrzött referenciaérték
- Teljesítmény: A DeepSeek-R1 49,2% -os pontszámot ért el az SWE által ellenőrzött referenciaértéknél, amely kiértékeli az érvelést a szoftverfejlesztési feladatokban. Ez a pontszám kissé meghaladja az Openai O1-1217 48,9% -át, de kissé elmarad a Claude-3,5-Sonnet-1022 50,8% [2] [3].- A feladat fókusza: Az SWE által ellenőrzött referenciaérték a szoftver ellenőrzésével kapcsolatos feladatokra összpontosít, és megköveteli a modellt, hogy igazolja annak képességét a szoftverfejlesztési koncepciókkal kapcsolatban.
CodeForces Benchmark
-Teljesítmény: A CodeForces referenciaértékén a DeepSeek-R1 96,3-os százalékos rangsorot és 2029-es ELO-besorolást ért el. Ez a résztvevők legfelső százalékába helyezi, bár ez kissé elmarad az Openai O1-1217-ről, amely 96,6-os százalékot és 2061 [2] [3] ELO besorolást eredményezett.- A feladat fókusza: A CodeForces referenciaértéke a modell kódolási és algoritmikus érvelési képességeit értékeli azáltal, hogy összehasonlítja annak teljesítményét az emberi résztvevőkkel a versenyképes kódolási kihívások során.
Összefoglalva: míg a DeepSeek-R1 mindkét referenciaértéken versenyképesen teljesít, ez erősebb relatív teljesítményt mutat a CodeForces referenciaértékén, ahol a résztvevők körében nagyon magas rangú. Az SWE által ellenőrzött referenciaértéknél azonban teljesítménye is erős, de kissé kevésbé versenyképes néhány más modellhez képest, mint például a Claude-3.5-Donet-1022. Összességében a DeepSeek-R1 robusztus képességeket mutat mind a kódolási, mind a szoftver-ellenőrzési feladatokban.
Idézetek:
[1] https://www.prompthub.us/blog/deepseek-r--model-overview-and-how-it-tanks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-nonnet-wich-s-t-for-coding/
[4] https://techcrunch.com/2025/01/27/deepseek-caims-its-reason-model-beats-openais-o1-on-ceral-fenchmarks/
[5] https://forum.effectivealtruism.org/posts/d3bmyu5gte8xriz/is-deepseek-r1-already-better-o3-when-inference-costs
[6] https://blog.prompptlayer.com/openai-o3-vs-deepseek-r1-an-analys-of-deason-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1