Cả hai điểm chuẩn Toán-500 và AIME 2024 đều được sử dụng để đánh giá các khả năng lý luận toán học trong các mô hình AI, nhưng chúng khác nhau về một số khía cạnh chính:
1. Nguồn gốc và mục đích:
-Math-500 có nguồn gốc từ một bộ dữ liệu lớn hơn được tạo bởi OpenAI, tập trung vào việc giải quyết vấn đề toán học trên các cấp độ khó khác nhau. Nó được thiết kế để đánh giá khả năng của một mô hình để giải quyết các vấn đề toán học theo nghĩa chung [1].
- AIME 2024 dựa trên kỳ thi Toán học Invitational của Mỹ, một cuộc thi uy tín cho học sinh trung học. Nó kiểm tra các kỹ năng lý luận toán học nâng cao, đặc biệt là trong các lĩnh vực như đại số, hình học và lý thuyết số [2].
2. Mức độ khó:
- Toán học-500 bao gồm một loạt các vấn đề toán học nhưng thường được coi là ít thách thức hơn AIME. Nó được sử dụng để đánh giá các khả năng lý luận toán học cơ bản [1].
- AIME 2024 bao gồm các câu hỏi rất khó khăn khó hơn đáng kể so với những câu hỏi trong Math-500. Nó được thiết kế để đánh giá các kỹ năng toán học tiên tiến, thường vượt qua khả năng của các mô hình không hợp lý và thậm chí hiệu suất của con người trong một số trường hợp [2].
3. Phương pháp đánh giá:
-Math-500 sử dụng cơ chế xác thực câu trả lời hai giai đoạn liên quan đến phân loại dựa trên tập lệnh với Sympy để kiểm tra bình đẳng tượng trưng và trình kiểm tra bình đẳng mô hình ngôn ngữ dưới dạng sao lưu. Điều này đảm bảo phân loại chính xác các câu trả lời toán học [1].
- AIME 2024 đánh giá các mô hình dựa trên khả năng cung cấp câu trả lời số chính xác cho các câu hỏi. Việc đánh giá là đơn giản, tập trung vào độ chính xác của các câu trả lời số nguyên được cung cấp bởi các mô hình [2].
4. Định dạng câu hỏi và tính khả dụng:
- Câu hỏi Math-500 là một phần của bộ dữ liệu lớn hơn và không được phơi bày công khai như các câu hỏi AIME. Bộ dữ liệu được sử dụng để đánh giá các khả năng toán học của các mô hình mà không ảnh hưởng của việc đặt trước đối với các câu hỏi cụ thể [1].
- Câu hỏi và câu trả lời của AIME 2024 có sẵn công khai, điều này có khả năng ảnh hưởng đến hiệu suất mô hình nếu các câu hỏi được bao gồm trong kho văn bản trước. Điều này đã dẫn đến các quan sát trong đó các mô hình hoạt động tốt hơn trên các phiên bản AIME cũ hơn do tiếp xúc tiềm năng trong quá trình đào tạo [2].
5. Trọng số trong các bộ đánh giá:
- Cả Math-500 và AIME 2024 đều là một phần của Chỉ số Trí thông minh phân tích nhân tạo, nhưng chúng có trọng số như nhau trong thành phần lý luận toán học, chiếm 25% chỉ số tổng thể. Điều này có nghĩa là cả hai đóng góp như nhau để đánh giá các khả năng toán học của một mô hình [1].
Tóm lại, trong khi cả hai điểm chuẩn đánh giá lý luận toán học, chúng khác nhau về độ khó, nguồn gốc, phương pháp đánh giá và loại kỹ năng toán học mà họ đánh giá.
Trích dẫn:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.vals.ai/benchmark/aime-2025-03-11
[3] https://www.credo.ai/model-trust-scores-ai-evaluation?_bhlid=c0cc9970c0c61aac64f22e2216b45b92bb72c69a
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1