Deepseek-R1 montre des performances solides à travers divers repères de codage, notamment LivecodeBench et lesforces de code. Voici une comparaison détaillée de ses performances sur ces deux repères:
Benchmark LiveCodeBench
Sur la référence LivecodeBench, Deepseek-R1 a obtenu un score de passe à 1 65,9% [7]. Cette référence évalue la capacité d'un modèle à écrire et à exécuter du code dans des scénarios du monde réel, en se concentrant sur les compétences de codage pratiques. Bien que ce score soit compétitif, il met en évidence la capacité de Deepseek-R1 à gérer les tâches de codage qui nécessitent une exécution et une rétroaction immédiates.Codeforces Benchmark
En revanche, sur la référence de Codeforces, Deepseek-R1 a obtenu une note ELO de 2029 [3] [4]. Codeforces est une plate-forme qui évalue les compétences de codage grâce à des défis de programmation compétitifs, mettant l'accent sur le raisonnement algorithmique et la résolution de problèmes. La notation ELO élevée place Deepseek-R1 dans le centile supérieur des participants, indiquant sa forte compétence dans la résolution de problèmes algorithmiques complexes. Cette performance suggère que Deepseek-R1 excelle dans les tâches nécessitant une pensée stratégique et une efficacité de codage.Comparaison
Bien que les deux repères évaluent les capacités de codage, elles se concentrent sur différents aspects: LivecodeBench met l'accent sur l'exécution du codage pratique, tandis que les forces de code se concentrent sur la résolution de problèmes algorithmiques concurrentielle. Deepseek-R1 fonctionne bien sur les deux, mais sa cote ELO supérieure sur lesforces de code indique une compétence plus forte dans la résolution des défis de codage complexes. Cela suggère que Deepseek-R1 est particulièrement apte à gérer les tâches qui nécessitent un codage stratégique et un raisonnement algorithmique, ce qui en fait un concurrent solide dans des environnements de codage compétitif.Dans l'ensemble, les performances de Deepseek-R1 sur ces références mettent en évidence sa polyvalence dans la gestion de différents types de tâches de codage, de l'exécution pratique à la résolution de problèmes compétitives.
Citations:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-oo1
[2] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_good_it_is_comparisé/
[3] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analysis-ofeasoning-models/
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://forum.effectivealtruisme.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-costs
[6] https://www.reddit.com/r/localllama/comments/1i5q6b9/deepseekr1_and_distould_benchmarks_color_coded/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://codeforces.com/blog/entry/138735