DeepSeek-R1 dimostra forti prestazioni su vari parametri di riferimento, tra cui i benchmark SWE Verified e Codeforces. Ecco un confronto dettagliato delle sue prestazioni su questi due parametri:
SWE Verified Benchmark
- Prestazioni: DeepSeek-R1 ha raggiunto un punteggio del 49,2% sul benchmark Verified SWE, che valuta il ragionamento nelle attività di ingegneria del software. Questo punteggio è leggermente più avanti rispetto al 48,9% di OpenAI O1-1217 ma leggermente dietro il 50,8% di Claude-3.5-Sonnet-1022 [2] [3].- Focus sul compito: il benchmark Verified SWE si concentra su attività relative alla verifica del software, che richiedono al modello di dimostrare la sua capacità di ragionare sui concetti di ingegneria del software.
CodeForces Benchmark
-Performance: sul benchmark Codeforces, DeepSeek-R1 ha raggiunto una classifica percentile di 96,3 e una valutazione ELO del 2029. Questo lo colloca nel massimo percentile dei partecipanti, sebbene sia leggermente dietro Openi O1-1217, che ha segnato un percentile di 96,6 e un punteggio Elo di 2061 [2] [3].- Focus sul compito: il benchmark Codeforces valuta le capacità di codifica e ragionamento algoritmico di un modello confrontando le sue prestazioni con i partecipanti umani nelle sfide della codifica competitiva.
In sintesi, mentre DeepSeek-R1 si esibisce in modo competitivo su entrambi i parametri di riferimento, mostra una prestazione relativa più forte sul benchmark Codeforces, dove si classifica molto in alto tra i partecipanti. Tuttavia, sul benchmark verificato SWE, le sue prestazioni sono anche forti ma leggermente meno competitive rispetto ad alcuni altri modelli come Claude-3.5-Sonnet-1022. Nel complesso, DeepSeek-R1 dimostra capacità robuste sia nelle attività di codifica che di verifica del software.
Citazioni:
[1] https://www.prompthub.us/blog/deepseek-1-model-overview-and-how-it-larks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-which-is-best-for-coding
[4] https://techcrunch.com/2025/01/27/deepseek-claims-its-reasoning-model-beats-openais-o1-on-cercenchmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-costs
5
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1