Hiệu suất của Deepseek trên điểm chuẩn AIME 2024 cung cấp những hiểu biết đáng kể về khả năng lý luận toán học tổng thể của nó. AIME là một cuộc thi toán đầy thách thức cho học sinh trung học, được biết đến với các vấn đề nghiêm ngặt và phức tạp. Các mô hình của Deepseek đã chứng minh kết quả ấn tượng trên điểm chuẩn này, thể hiện khả năng của họ để giải quyết các khái niệm toán học nâng cao.
Điểm nổi bật hiệu suất chính
- Thành tựu chính xác: Các mô hình của Deepseek đã đạt được độ chính xác đáng chú ý trên AIME 2024. Ví dụ, mô hình DeepSeek R1 đạt tỷ lệ chính xác 52,5%, vượt trội so với các mô hình khác như O1i quan điểm của Openai, đạt 44,6% [5]. Ngoài ra, một mô hình tham số 32B từ Deepseek đạt được độ chính xác 72,6%, mặc dù điều này thấp hơn một chút so với một mô hình khác, O1-0912, đạt 74,4% [1].
- So sánh với hiệu suất của con người: Điểm trung bình cho những người tham gia AIME trong lịch sử từ 4 đến 6 câu trả lời đúng trong số 15 câu hỏi. Mặc dù các mô hình của Deepseek đã thể hiện hiệu suất mạnh mẽ, họ vẫn phải đối mặt với những thách thức trong việc giải quyết liên tục các vấn đề toán học tiên tiến, tương tự như những người tham gia con người [7].
-Lý luận và giải quyết vấn đề: Các mô hình của Deepseek vượt trội trong lý luận toán học bằng cách sử dụng các kỹ thuật như lý luận và sử dụng công cụ từng bước. Điều này thể hiện rõ trong hiệu suất của họ trên các điểm chuẩn toán học khác, nơi họ đã vượt qua các mô hình nguồn mở hiện có [2]. Khả năng cung cấp các quy trình lý luận minh bạch, giống như sự cân nhắc giống con người, nâng cao giá trị giáo dục và sự đáng tin cậy của họ [5].
Hạn chế và thách thức
- Biến đổi hiệu suất: Có một hiệu suất giảm đáng chú ý khi các mô hình DeepSeek gặp các câu hỏi biến thể hoặc những người không trực tiếp được đưa vào dữ liệu đào tạo của họ. Ví dụ, trong khi họ vượt trội về dữ liệu kiểm tra cụ thể, khả năng khái quát hóa các phiên bản câu hỏi bị thay đổi bị hạn chế [4].
- Độ bão hòa điểm chuẩn: Điểm chuẩn AIME vẫn là thách thức đối với các mô hình AI, vì nó chưa được bão hòa, có nghĩa là các mô hình vẫn có thể cải thiện đáng kể trong nhiệm vụ này [7]. Điều này cho thấy rằng trong khi Deepseek đã có những bước tiến, có chỗ để phát triển hơn nữa trong lý luận toán học.
Ý nghĩa trong tương lai
Hiệu suất của Deepseek trên AIME 2024 nêu bật tiềm năng cho các mô hình AI vượt trội trong lý luận toán học khi kết hợp chuyên môn miền với các kỹ thuật đào tạo hiệu quả. Cách tiếp cận này có thể dẫn đến các mô hình chuyên dụng hơn đạt được kết quả mạnh mẽ với các tài nguyên tính toán khiêm tốn, chuyển trọng tâm từ sức mạnh tính toán thô sang các chiến lược đào tạo thông minh [1]. Khi AI tiếp tục phát triển, các mô hình như Deepseek sẽ đóng một vai trò quan trọng trong việc đẩy ranh giới của các khả năng lý luận toán học.
Trích dẫn:
[1] https://www.geekwire.com/2025/deepseeks-new-model-s
[2] https://github.com/deepseek-ai/deepseek-math
[3] https://www.byteplus.com/en/topic/384068
.
[5] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[6] https://www.medrxiv.org/content/10.1101/2025.02.06.25321749v1.full-text
[7] https://www.vals.ai/benchmark/aime-2025-03-11
[8] https://arxiv.org/html/2503.10573v1