Deepseek-R1 thể hiện hiệu suất mạnh mẽ trên các điểm chuẩn khác nhau, bao gồm cả điểm chuẩn được xác minh và mã hóa của SWE. Dưới đây là so sánh chi tiết về hiệu suất của nó trên hai điểm chuẩn sau:
SWE được xác minh điểm chuẩn
Trên điểm chuẩn được xác minh của SWE, Deepseek-R1 đạt được số điểm 49,2%, vượt xa O1-1217 của Openai ở mức 48,9%[2] [3]. Điểm chuẩn này đánh giá lý luận của một mô hình trong các nhiệm vụ kỹ thuật phần mềm, tập trung vào các tác vụ như xác minh mã và gỡ lỗi. Trong khi Deepseek-R1 hoạt động tốt, Claude-3.5-Sonet-1022 hơi cạnh với số điểm 50,8%[3].Điểm chuẩn CodeForces
Ngược lại, Deepseek-R1 vượt trội so với điểm chuẩn CodeForces, đạt được tỷ lệ phần trăm là 96,3 và xếp hạng ELO năm 2029 [3] [4]. Điều này đặt nó trong số những người biểu diễn hàng đầu trong mã hóa cạnh tranh, theo sát Openai O1-1217, dẫn đến tỷ lệ phần trăm là 96,6 và xếp hạng 2061 [3]. Điểm chuẩn CodeForces đánh giá các khả năng lý luận của mã hóa và thuật toán của một mô hình bằng cách so sánh hiệu suất của nó với những người tham gia con người.So sánh
Trong khi Deepseek-R1 thực hiện cạnh tranh trên cả hai điểm chuẩn, hiệu suất của nó rõ rệt hơn trên điểm chuẩn CodeForces. Điều này cho thấy rằng Deepseek-R1 đặc biệt lão luyện trong việc giải quyết các thách thức thuật toán và mã hóa, có cấu trúc hơn và yêu cầu lý luận logic chính xác. Trên điểm chuẩn được xác minh của SWE, trong khi nó hoạt động tốt, nó ít chiếm ưu thế hơn một chút so với hiệu suất của nó trên Codeforces. Điều này chỉ ra rằng DeepSeek-R1 có thể phù hợp hơn với các nhiệm vụ yêu cầu lý luận thuật toán thay vì những người tập trung vào xác minh và gỡ lỗi phần mềm.Nhìn chung, DeepSeek-R1 thể hiện tính linh hoạt trên các loại nhiệm vụ mã hóa và lý luận khác nhau, nhưng điểm mạnh của nó rõ ràng hơn trong việc giải quyết vấn đề thuật toán.
Trích dẫn:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
.
.
[5] https://forum.effectivealtruism.org/posts/d3iFbMyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-costs
.
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1