Los puntos de referencia Math-500 y AIME 2024 se utilizan para evaluar las capacidades de razonamiento matemático en los modelos de IA, pero difieren en varios aspectos clave:
1. Origen y propósito:
-Math-500 se deriva de un conjunto de datos más grande creado por OpenAI, centrándose en la resolución de problemas matemáticos en varios niveles de dificultad. Está diseñado para evaluar la capacidad de un modelo para resolver problemas matemáticos en un sentido general [1].
- AIME 2024 se basa en el examen de matemáticas American Invitational, una prestigiosa competencia para los estudiantes de secundaria. Prueba habilidades avanzadas de razonamiento matemático, particularmente en áreas como álgebra, geometría y teoría de números [2].
2. Nivel de dificultad:
- Math-500 incluye una amplia gama de problemas matemáticos, pero generalmente se considera menos desafiante que AIME. Se utiliza para evaluar las capacidades básicas de razonamiento matemático [1].
- AIME 2024 consiste en preguntas muy desafiantes que son significativamente más difíciles que las de Math-500. Está diseñado para evaluar las habilidades matemáticas avanzadas, a menudo superando las capacidades de los modelos que no son de condición e incluso el rendimiento humano en algunos casos [2].
3. Método de evaluación:
-MATH-500 utiliza un mecanismo de validación de respuestas de dos etapas que involucra la calificación basada en script con Sympy para la verificación simbólica de igualdad y un verificador de igualdad de modelos de lenguaje como copia de seguridad. Esto garantiza una calificación precisa de las respuestas matemáticas [1].
- AIME 2024 evalúa modelos basados en su capacidad para proporcionar respuestas numéricas correctas a las preguntas. La evaluación es directa, centrándose en la precisión de las respuestas enteras proporcionadas por los modelos [2].
4. Formato de pregunta y disponibilidad:
- Las preguntas de Math-500 son parte de un conjunto de datos más grande y no están tan expuestas públicamente como las preguntas de AIME. El conjunto de datos se utiliza para evaluar las capacidades matemáticas de los modelos sin la influencia de la tracción previa en preguntas específicas [1].
- Las preguntas y respuestas del AIME 2024 están disponibles públicamente, lo que podría influir en el rendimiento del modelo si las preguntas están incluidas en el Corpus preventivo. Esto ha llevado a observaciones donde los modelos funcionan mejor en versiones anteriores de AIME debido a la posible exposición durante el entrenamiento [2].
5. Ponderación en suites de evaluación:
- Tanto Math-500 como AIME 2024 son parte del índice de inteligencia de análisis artificial, pero se ponderan por igual dentro del componente de razonamiento matemático, que representa el 25% del índice general. Esto significa que ambos contribuyen igualmente a evaluar las habilidades matemáticas de un modelo [1].
En resumen, si bien ambos puntos de referencia evalúan el razonamiento matemático, difieren en dificultad, origen, métodos de evaluación y el tipo de habilidades matemáticas que evalúan.
Citas:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.credo.ai/model-trust-scores-ai-evaluation?_bhlid=c0cc9970c0c61aac64f22e2216b45b92bb72c69aa
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1