„Deepseek-R1“ demonstruoja stiprius įvairių kodavimo etalonų, įskaitant „LiveCodeBench“ ir „Codeforces“, našumą. Čia pateiktas išsamus jo našumo palyginimas su šiais dviem etalonais:
„LiveCodeBench“ etalonas
„LiveCodeBench“ etalone „Deepseek-R1“ pasiekė 65,9%rezultatą@1 [7]. Šis etalonas įvertina modelio sugebėjimą rašyti ir vykdyti kodą realaus pasaulio scenarijais, daugiausia dėmesio skiriant praktiniams kodavimo įgūdžiams. Nors šis rezultatas yra konkurencingas, jis pabrėžia „Deepseek-R1“ sugebėjimą atlikti kodavimo užduotis, kurioms reikia nedelsiant vykdyti ir atsiliepti.„Codeforces“ etalonas
Priešingai, „Codeforces“ etalone „Deepseek-R1“ pasiekė 2029 m. ELO reitingą [3] [4]. „Codeforces“ yra platforma, vertinanti kodavimo įgūdžius per konkurencinius programavimo iššūkius, pabrėžiant algoritminius pagrindimus ir problemų sprendimą. Aukštas ELO reitingas pateikia „Deepseek-R1“ dalyvių procentinę dalį, nurodant, kad jis tvirtas įgūdis sprendžiant sudėtingas algoritmines problemas. Šis spektaklis rodo, kad „Deepseek-R1“ pasižymi užduotimis, reikalaujančiomis strateginio mąstymo ir kodavimo efektyvumo.palyginimas
Nors abu etalonai vertina kodavimo gebėjimus, jie sutelkia dėmesį į skirtingus aspektus: „LiveCodeBench“ pabrėžia praktinį kodavimo vykdymą, tuo tarpu „Codeforces“ daugiausia dėmesio skiria konkurenciniam algoritminiam problemų sprendimui. „Deepseek-R1“ gerai veikia abu, tačiau jo aukštesnis „ELO“ reitingas „Codeforces“ rodo stipresnį įgūdį spręsti sudėtingus kodavimo iššūkius. Tai rodo, kad „Deepseek-R1“ yra ypač įgudęs tvarkant užduotis, kurioms reikalingas strateginis kodavimas ir algoritminiai pagrindimai, todėl tai yra stiprus varžovas konkurencingoje kodavimo aplinkoje.Apskritai, „Deepseeek-R1“ pasirodymas šiuose etalonuose pabrėžia jo universalumą tvarkant įvairių tipų kodavimo užduotis, pradedant nuo praktinio vykdymo iki konkurencinio problemų sprendimo.
Citatos:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-oveview-and-how-it-ranks-against-openais-o1
]
[3] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analysis-of-reasoning-models/
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseee-r1-already-better than-o3-wen-inference-costs
[6] https://www.reddit.com/r/localllama/comments/1i5q6b9/deepseekr1_and_distilled_benchmarks_color_coded/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://codeforces.com/blog/entry/138735