O Deepseek-R1 demonstra um forte desempenho no benchmark da Codeforces, alcançando um percentil de 96,3 e uma classificação de 2029. Isso o coloca entre os melhores desempenhos em codificação competitiva, superando modelos como GPT-4O e Claude 3,5 Sonnet. Em comparação, o Claude 3,5 soneto possui um percentil forças de código significativamente mais baixas de 20,3 e uma classificação de 717, indicando que o Deepseek-R1 é mais hábil em lidar com desafios de codificação complexos e tarefas de raciocínio algorítmico.
Enquanto o Claude 3,5 soneto se destaca em outras áreas, como produzir soluções de código concisas e eficientes e explicar algoritmos complexos e estruturas de dados, seu desempenho nas forças de código não é tão forte quanto o DeepSeek-R1. A capacidade do Deepseek-R1 de ter um bom desempenho em ambientes de codificação competitiva é atribuído ao seu aprendizado de reforço em larga escala durante o pós-treinamento, o que aprimora seus recursos de raciocínio com dados mínimos marcados [3] [4].
Em termos de proficiência geral de codificação, o Deepseek-R1 é competitivo com os modelos O1 da OpenAI, que também têm um bom desempenho nos benchmarks de codificação. No entanto, os pontos fortes da Claude 3,5 sonetos estão mais em sua capacidade de lidar com tarefas de codificação diferenciadas e manter os padrões de codificação, em vez de em desafios de codificação competitivos como os encontrados nas forças de código [5].
No geral, o DeepSeek-R1 é um forte candidato a tarefas que requerem habilidades avançadas de codificação e raciocínio algorítmico, enquanto o claude de 3,5 sonetos é mais adequado para tarefas que exigem soluções de codificação concisas e eficientes com fortes capacidades explicativas.
Citações:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-dranks-against-openais-o1
[2] https://www.reddit.com/r/localllama/comments/1gal0md/the_updated_claude_35_sonnet_scores_414_on/
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-which-is-best-for-coding/
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://www.qodo.ai/question/claude-3-sonnet-coding-performance/
[6] https://www.reddit.com/r/claudaii/comments/1ikvj5w/i_compared_claude_sonnet_35_vs_deepseek_r1_on_500/
[7] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_good_it_is_compared/
[8] https://www.anthropic.com/news/claude-3-5-sonnet