Die Benchmarks Math-500 und Aime 2024 werden beide verwendet, um mathematische Argumentationsfunktionen in KI-Modellen zu bewerten, unterscheiden sich jedoch in mehreren Schlüsselaspekten:
1. Ursprung und Zweck:
-Math-500 stammt aus einem größeren Datensatz, der von OpenAI erstellt wurde und sich auf die mathematische Problemlösung über verschiedene Schwierigkeitsgrade konzentriert. Es wurde entwickelt, um die Fähigkeit eines Modells zu bewerten, mathematische Probleme im Allgemeinen zu lösen [1].
- Aime 2024 basiert auf der American Invitational Mathematics Examination, einem prestigeträchtigen Wettbewerb für Schüler. Es testet fortgeschrittene mathematische Argumentationsfähigkeiten, insbesondere in Bereichen wie Algebra, Geometrie und Zahlentheorie [2].
2. Schwierigkeitsgrad:
- Math-500 umfasst eine breite Palette mathematischer Probleme, wird jedoch im Allgemeinen als weniger herausfordernd angesehen als Aime. Es wird verwendet, um grundlegende Funktionen für mathematische Argumentation zu bewerten [1].
- Aime 2024 besteht aus sehr herausfordernden Fragen, die deutlich schwieriger sind als in Math-500. Es wurde entwickelt, um fortschrittliche mathematische Fähigkeiten zu bewerten und in einigen Fällen häufig die Fähigkeiten von Nichtschwadenmodellen und sogar die menschliche Leistung zu übertreffen [2].
3. Bewertungsmethode:
-Math-500 verwendet einen zweistufigen Antwortvalidierungsmechanismus, der eine skriptbasierte Bewertung mit Sympy für die symbolische Gleichstellungsüberprüfung und einen Sprachmodell-Gleichstellungsprüfer als Sicherung umfasst. Dies gewährleistet eine präzise Einstufung mathematischer Antworten [1].
- Aime 2024 bewertet Modelle basierend auf ihrer Fähigkeit, korrekte numerische Antworten auf die Fragen zu geben. Die Bewertung ist unkompliziert und konzentriert sich auf die Genauigkeit der von den Modellen bereitgestellten Ganzzahlantworten [2].
4. Frage Format und Verfügbarkeit:
- Math-500-Fragen sind Teil eines größeren Datensatzes und sind nicht so öffentlich aufgedeckt wie Aime-Fragen. Der Datensatz wird zur Bewertung der mathematischen Funktionen der Modelle ohne den Einfluss der Vorbereitung auf spezifische Fragen verwendet [1].
- Aime 2024 Fragen und Antworten sind öffentlich verfügbar, was möglicherweise die Modellleistung beeinflussen kann, wenn die Fragen im Vorab -Korpus enthalten sind. Dies hat zu Beobachtungen geführt, bei denen Modelle aufgrund der potenziellen Exposition während des Trainings eine bessere Leistung bei älteren AIM -Versionen erzielen [2].
5. Gewichtung in Bewertungssuiten:
- Sowohl Math-500 als auch Aime 2024 sind Teil des Intelligenzindex für künstliche Analyse, werden jedoch innerhalb der mathematischen Argumentationskomponente gleichermaßen gewichtet, die 25% des Gesamtindex ausmacht. Dies bedeutet, dass beide gleichermaßen zur Beurteilung der mathematischen Fähigkeiten eines Modells beitragen [1].
Zusammenfassend lässt sich sagen, dass beide Benchmarks das mathematische Denken bewerten, sie unterscheiden sich in Schwierigkeiten, Herkunft, Bewertungsmethoden und der Art der mathematischen Fähigkeiten, die sie bewerten.
Zitate:
[1] https://artificialanalysis.ai/methodology/intelligence-tenchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.credo.ai/model trust-scores-ai-evaluation?_bhlid=c0cc9970c0c61aac64f22e2216b45b92bb72c69a
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceH4/math-500
[8] https://arxiv.org/html/2410.03131v1