Τα σημεία αναφοράς Math-500 και AIME 2024 χρησιμοποιούνται και οι δύο για την αξιολόγηση των δυνατοτήτων μαθηματικών συλλογισμών σε μοντέλα AI, αλλά διαφέρουν σε διάφορες βασικές πτυχές:
1. Προέλευση και σκοπός:
-Το Math-500 προέρχεται από ένα μεγαλύτερο σύνολο δεδομένων που δημιουργήθηκε από το OpenAI, εστιάζοντας στη μαθηματική επίλυση προβλημάτων σε διάφορα επίπεδα δυσκολίας. Έχει σχεδιαστεί για να αξιολογήσει την ικανότητα ενός μοντέλου να επιλύει τα μαθηματικά προβλήματα με μια γενική έννοια [1].
- Το AIME 2024 βασίζεται στην Αμερικανική Εξέταση Μαθηματικών Προσκλήσεων, έναν διάσημο ανταγωνισμό για τους μαθητές του γυμνασίου. Δοκιμάζει τις προηγμένες δεξιότητες μαθηματικών συλλογισμών, ιδιαίτερα σε περιοχές όπως η άλγεβρα, η γεωμετρία και η θεωρία αριθμών [2].
2. Επίπεδο δυσκολίας:
- Το MATH-500 περιλαμβάνει ένα ευρύ φάσμα μαθηματικών προβλημάτων, αλλά γενικά θεωρείται λιγότερο προκλητική από το AIME. Χρησιμοποιείται για την αξιολόγηση των βασικών δυνατοτήτων μαθηματικών συλλογισμών [1].
- Το AIME 2024 αποτελείται από εξαιρετικά δύσκολα ερωτήματα που είναι σημαντικά πιο δύσκολα από αυτά του Math-500. Έχει σχεδιαστεί για να αξιολογήσει τις προηγμένες μαθηματικές δεξιότητες, συχνά ξεπερνώντας τις δυνατότητες των μη-αηδιαστικών μοντέλων και ακόμη και των ανθρώπινων επιδόσεων σε ορισμένες περιπτώσεις [2].
3. Μέθοδος αξιολόγησης:
-Το Math-500 χρησιμοποιεί έναν μηχανισμό επικύρωσης απαντήσεων δύο σταδίων που περιλαμβάνει ταξινόμηση με βάση το σενάριο με Sympy για τον έλεγχο συμβολικής ισότητας και έναν έλεγχο ισότητας μοντέλων γλωσσών ως αντίγραφο ασφαλείας. Αυτό εξασφαλίζει την ακριβή ταξινόμηση των μαθηματικών απαντήσεων [1].
- Το AIME 2024 αξιολογεί τα μοντέλα με βάση την ικανότητά τους να παρέχουν σωστές αριθμητικές απαντήσεις στις ερωτήσεις. Η αξιολόγηση είναι απλή, εστιάζοντας στην ακρίβεια των ακέραιων απαντήσεων που παρέχονται από τα μοντέλα [2].
4. Μορφή και διαθεσιμότητα ερωτήσεων:
- Οι ερωτήσεις Math-500 αποτελούν μέρος ενός μεγαλύτερου συνόλου δεδομένων και δεν είναι τόσο εκτεθειμένες όσο και οι ερωτήσεις του AIME. Το σύνολο δεδομένων χρησιμοποιείται για την αξιολόγηση των μαθηματικών δυνατοτήτων των μοντέλων χωρίς την επιρροή της προκαταβολής σε συγκεκριμένα ερωτήματα [1].
- Οι ερωτήσεις και οι απαντήσεις AIME 2024 είναι διαθέσιμες στο κοινό, οι οποίες θα μπορούσαν ενδεχομένως να επηρεάσουν την απόδοση του μοντέλου εάν οι ερωτήσεις περιλαμβάνονται στο προετοιμασμένο σώμα. Αυτό έχει οδηγήσει σε παρατηρήσεις όπου τα μοντέλα αποδίδουν καλύτερα σε παλαιότερες εκδόσεις του AIME λόγω πιθανής έκθεσης κατά τη διάρκεια της εκπαίδευσης [2].
5. Βάρη σε σουίτες αξιολόγησης:
- Τόσο το MATH-500 όσο και το AIME 2024 αποτελούν μέρος του δείκτη τεχνητής ανάλυσης, αλλά σταθμίζονται εξίσου εντός του μαθηματικού συλλογιστικού συστατικού, το οποίο αντιπροσωπεύει το 25% του συνολικού δείκτη. Αυτό σημαίνει ότι και οι δύο συμβάλλουν εξίσου στην αξιολόγηση των μαθηματικών ικανοτήτων ενός μοντέλου [1].
Συνοπτικά, ενώ και τα δύο σημεία αναφοράς αξιολογούν τη μαθηματική συλλογιστική, διαφέρουν στη δυσκολία, την προέλευση, τις μεθόδους αξιολόγησης και τον τύπο των μαθηματικών δεξιοτήτων που αξιολογούν.
Αναφορές:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.credo.ai/model-trust-scores-ai-evaluation?_BHLID=C0CC9970C0C61AAC64F22E2216B45B92BB72C69A
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1