DeepSeek-R1 parāda spēcīgu veiktspēju CodeForces etalonā, sasniedzot procentīli 96,3 un vērtējumu 2029. gadā. Tas to novieto starp labākajiem izpildītājiem konkurences kodēšanā, pārspējot tādus modeļus kā GPT-4O un Claude 3.5 Sonnet. Salīdzinājumam, Claude 3.5 Sonnet ir ievērojami zemāks kods, procentile procentile ir 20,3 un vērtējums 717, norādot, ka DeepSEEK-R1 ir prasmīgāks, risinot sarežģītus kodēšanas izaicinājumus un algoritmisko spriešanas uzdevumus.
Kamēr Claude 3.5 sonets izceļas citās jomās, piemēram, kodolīgu un efektīvu kodu risinājumu radīšanai un sarežģītu algoritmu un datu struktūru izskaidrošanai, tā veiktspēja CodeForces nav tik spēcīga kā DeepSeek-R1. DeepSeek-R1 spēja labi darboties konkurences kodēšanas vidē tiek attiecināta uz tā liela mēroga pastiprināšanas mācīšanos pēc apmācības, kas uzlabo tās spriešanas iespējas ar minimāli marķētiem datiem [3] [4].
Runājot par vispārējo kodēšanas prasmi, DeepSEEK-R1 ir konkurētspējīgs ar Openai O1 modeļiem, kas labi darbojas arī ar kodēšanas etaloniem. Tomēr Claude 3.5 Sonnet stiprās puses vairāk ir spējīgi rīkoties ar niansētiem kodēšanas uzdevumiem un uzturēt kodēšanas standartus, nevis konkurences kodēšanas izaicinājumos, piemēram, tādos, kas atrodami CodeForces [5].
Kopumā DeepSEEK-R1 ir spēcīgs sāncensis uzdevumiem, kuriem nepieciešama uzlabotas kodēšanas prasmes un algoritmiska spriešana, savukārt Claude 3.5 Sonnet ir labāk piemērots uzdevumiem, kuriem nepieciešami kodolīgi un efektīvi kodēšanas risinājumi ar spēcīgām skaidrojošām iespējām.
Atsauces:
[1.]
[2] https://www.reddit.com/r/localllama/comments/1gal0md/the_updated_claude_35_sonnet_scores_414_on/
.
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://www.qodo.ai/question/claude-3-sonnet-coding-performance/
[6] https://www.reddit.com/r/claudeai/comments/1ikvj5w/i_compared_claude_sonnet_35_vs_deepseek_r1_on_500/
[7] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_good_it_is_compared/
[8] https://www.anthropic.com/news/claude-3-5-sonnet