Deepseek-R1 menunjukkan kinerja yang kuat di berbagai tolok ukur pengkodean, termasuk LiveCodebench dan Codeforces. Berikut perbandingan terperinci dari kinerjanya pada dua tolok ukur ini:
Benchmark
Livecodebench
Pada tolok ukur LiveCodebench, Deepseek-R1 mencapai skor pass@1 sebesar 65,9%[7]. Benchmark ini mengevaluasi kemampuan model untuk menulis dan menjalankan kode dalam skenario dunia nyata, dengan fokus pada keterampilan pengkodean praktis. Meskipun skor ini kompetitif, ini menyoroti kemampuan Deepseek-R1 untuk menangani tugas pengkodean yang membutuhkan eksekusi dan umpan balik segera.Benchmark Codeforces
Sebaliknya, pada tolok ukur codeforces, Deepseek-R1 mencapai peringkat ELO 2029 [3] [4]. Codeforces adalah platform yang menilai keterampilan pengkodean melalui tantangan pemrograman kompetitif, menekankan penalaran algoritmik dan pemecahan masalah. Peringkat ELO yang tinggi menempatkan Deepseek-R1 di persentil teratas peserta, menunjukkan kemahirannya yang kuat dalam menyelesaikan masalah algoritmik yang kompleks. Kinerja ini menunjukkan bahwa Deepseek-R1 unggul dalam tugas yang membutuhkan pemikiran strategis dan efisiensi pengkodean.Perbandingan ###
Sementara kedua tolok ukur mengevaluasi kemampuan pengkodean, mereka fokus pada aspek yang berbeda: LiveCodebench menekankan eksekusi pengkodean praktis, sedangkan codeforces berfokus pada pemecahan masalah algoritmik kompetitif. Deepseek-R1 berkinerja baik pada keduanya, tetapi peringkat ELO yang lebih tinggi pada codeforces menunjukkan kemahiran yang lebih kuat dalam menyelesaikan tantangan pengkodean yang kompleks. Ini menunjukkan bahwa Deepseek-R1 sangat mahir dalam menangani tugas-tugas yang membutuhkan pengkodean strategis dan penalaran algoritmik, menjadikannya pesaing yang kuat dalam lingkungan pengkodean kompetitif.
Secara keseluruhan, kinerja Deepseek-R1 pada tolok ukur ini menyoroti keserbagunaannya dalam menangani berbagai jenis tugas pengkodean, dari eksekusi praktis hingga pemecahan masalah yang kompetitif.
Kutipan:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-oveview-and-how-it-ranks-against-openais-o1
[2] https://www.reddit.com/r/localllama/comments/1i8rujw/notes_on_deepseek_r1_just_how_good_it_is_compared/
[3] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analysis-of-reasoning-models/
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-cost
[6] https://www.reddit.com/r/localllama/comments/1i5q6b9/deepseekr1_and_distilled_benchmarks_color_coded/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://codeforces.com/blog/entry/138735