Το DeepSeeek-R1 επιδεικνύει ισχυρές επιδόσεις σε διάφορα σημεία αναφοράς, συμπεριλαμβανομένων των επιτηρήσεων SWE SEVER και CodeForces Benchmarks. Ακολουθεί μια λεπτομερής σύγκριση των επιδόσεών της σε αυτά τα δύο σημεία αναφοράς:
swe επαλήθευση του σημείου αναφοράς
- Απόδοση: Η DeepSeeek-R1 πέτυχε βαθμολογία 49,2% στο SWE SEVERED BENCENT MORK, το οποίο αξιολογεί τη συλλογιστική σε εργασίες μηχανικής λογισμικού. Αυτή η βαθμολογία είναι ελαφρώς μπροστά από το 48,9% του OpenAI O1-1217, αλλά ελαφρώς πίσω από το 50,8% του Claude-3,5-Sonnet-1022 [2] [3].- Focus Task Focus: Το επαληθευμένο σημείο αναφοράς SWE επικεντρώνεται σε εργασίες που σχετίζονται με την επαλήθευση του λογισμικού, απαιτώντας από το μοντέλο να αποδείξει την ικανότητά του να αιτιολογεί τις έννοιες της μηχανικής λογισμικού.
CodeForces Benchmink
-Απόδοση: Στο σημείο αναφοράς του Codeforces, το Deepseek-R1 πέτυχε μια εκατοστιαία κατάταξη 96,3 και μια βαθμολογία ELO του 2029.- Focus Task Focus: Το Benchmark CodeForces αξιολογεί τις δυνατότητες κωδικοποίησης και αλγοριθμικού συλλογισμού ενός μοντέλου, συγκρίνοντας τις επιδόσεις του με τους ανθρώπινους συμμετέχοντες σε ανταγωνιστικές προκλήσεις κωδικοποίησης.
Συνοπτικά, ενώ το DeepSeek-R1 εκτελεί ανταγωνιστικά και στα δύο σημεία αναφοράς, δείχνει μια ισχυρότερη σχετική απόδοση στο Benchmark CodeForces, όπου κατατάσσεται πολύ υψηλός μεταξύ των συμμετεχόντων. Ωστόσο, στο επαληθευμένο σημείο αναφοράς, η απόδοσή του είναι επίσης ισχυρή αλλά ελαφρώς λιγότερο ανταγωνιστική σε σύγκριση με ορισμένα άλλα μοντέλα όπως το Claude-3.5-Sonnet-1022. Συνολικά, το Deepseek-R1 επιδεικνύει ισχυρές δυνατότητες τόσο σε εργασίες κωδικοποίησης όσο και σε λογισμικό επαλήθευσης.
Αναφορές:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-gainst-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-hhich-best-for-coding/
[4] https://techcrunch.com/2025/01/27/deepseek-claims-its-reasoning-model-beats-openais-o1-on-certain benchmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-costs
[6] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analysis-of-reasoning-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1