DeepSeek-R1 parāda spēcīgu veiktspēju dažādos kodēšanas etalonos, ieskaitot LiveCodeBench un CodeForces. Šeit ir detalizēts tā snieguma salīdzinājums šiem diviem etaloniem:
LivecodeBench etalons
LivecodeBench etalonā DeepSeek-R1 sasniedza caurlaidi@1 rezultātu 65,9%[7]. Šis etalons novērtē modeļa spēju rakstīt un izpildīt kodu reālās pasaules scenārijos, koncentrējoties uz praktiskām kodēšanas prasmēm. Kaut arī šis rezultāts ir konkurētspējīgs, tas izceļ DeepSeek-R1 spēju veikt kodēšanas uzdevumus, kuriem nepieciešama tūlītēja izpildīšana un atgriezeniskā saite.CodeForces etalons
Turpretī CodeForces etalonā DeepSeek-R1 sasniedza ELO reitingu 2029. gadā [3] [4]. CodeForces ir platforma, kas novērtē kodēšanas prasmes, izmantojot konkurences programmēšanas izaicinājumus, uzsverot algoritmisko spriešanu un problēmu risināšanu. Augstais ELO vērtējums novieto DeepSeek-R1 dalībnieku augstākajā procentilē, norādot uz tā spēcīgo prasmi risināt sarežģītas algoritmiskās problēmas. Šī izrāde liek domāt, ka DeepSEEK-R1 izceļas uzdevumos, kuriem nepieciešama stratēģiska domāšana un kodēšanas efektivitāte.salīdzinājums
Kamēr abi etaloni novērtē kodēšanas spējas, tie koncentrējas uz dažādiem aspektiem: LivecodeBench uzsver praktisku kodēšanas izpildi, turpretī kodekss koncentrējas uz konkurences algoritmisko problēmu risināšanu. DeepSeek-R1 labi darbojas abos, taču tā augstākais ELO vērtējums CodeForces norāda uz spēcīgāku prasmi risināt sarežģītas kodēšanas problēmas. Tas liek domāt, ka DeepSEEK-R1 ir īpaši lietpratīgs, veicot uzdevumus, kuriem nepieciešama stratēģiska kodēšana un algoritmiska spriešana, padarot to par spēcīgu sāncensi konkurences kodēšanas vidē.Kopumā DeepSEEK-R1 sniegums šajos etalonos izceļ tā daudzpusību, apstrādājot dažāda veida kodēšanas uzdevumus, sākot no praktiskas izpildes līdz konkurences problēmu risināšanai.
Atsauces:
[1.]
[2] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_good_it_is_compared/
.
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-depseek-r1-already-better-than-o3-when-inference-izmaksas
[6] https://www.reddit.com/r/localllama/comments/1i5q6b9/deepseekr1_and_distilled_benchmarks_color_coded/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://codeforces.com/blog/entry/138735