Бессмысленности Math-500 и AIME 2024 оба используются для оценки возможностей математических рассуждений в моделях ИИ, но они различаются по нескольким ключевым аспектам:
1. Происхождение и цель:
-Math-500 получен из более крупного набора данных, созданного OpenAI, сосредоточенного на математическом решении проблем на разных уровнях сложности. Он предназначен для оценки способности модели решать математические задачи в общем смысле [1].
- AIME 2024 основан на американском экзамене по приглашению по математике, престижному соревнованиям для студентов старших классов. Он проверяет усовершенствованные навыки математических рассуждений, особенно в таких областях, как алгебра, геометрия и теория чисел [2].
2. Уровень сложности:
- Math-500 включает в себя широкий спектр математических проблем, но обычно считается менее сложным, чем AIME. Он используется для оценки основных возможностей математических рассуждений [1].
- AIME 2024 состоит из очень сложных вопросов, которые значительно сложнее, чем в Math-500. Он предназначен для оценки расширенных математических навыков, часто превосходящих возможности неэразирующих моделей и даже в некоторых случаях человека [2].
3. Метод оценки:
-MATH-500 использует двухэтапный механизм проверки ответов, включающий оценку на основе сценариев с Sympy для проверки символического равенства и проверки равенства языковой модели в качестве резервной копии. Это обеспечивает точную оценку математических ответов [1].
- AIME 2024 оценивает модели, основанные на их способности предоставлять правильные численные ответы на вопросы. Оценка проста, сосредотачиваясь на точности целочисленных ответов, предоставленных моделями [2].
4. Формат вопросов и доступность:
- Вопросы Math-500 являются частью более крупного набора данных и не так публично разоблачены, как вопросы AIME. Набор данных используется для оценки математических возможностей моделей без влияния предварительной подготовки на конкретные вопросы [1].
- AIME 2024 Вопросы и ответы доступны общедоступны, что потенциально может повлиять на производительность модели, если вопросы включены в предварительное корпус. Это привело к наблюдениям, где модели лучше работают на более старых версиях AIME из -за потенциального воздействия во время обучения [2].
5. Взвешивание в оценочных люксах:
- Как Math-500, так и AIME 2024 являются частью индекса интеллекта искусственного анализа, но они одинаково взвешены в рамках компонента математических рассуждений, что составляет 25% от общего индекса. Это означает, что они оба в равной степени вносят вклад в оценку математических способностей модели [1].
Таким образом, в то время как оба критерия оценивают математические рассуждения, они различаются по сложности, происхождению, методам оценки и типу математических навыков, которые они оценивают.
Цитаты:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3.]
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1