I benchmark di Math-500 e AIME 2024 sono entrambi usati per valutare le capacità di ragionamento matematico nei modelli AI, ma differiscono in diversi aspetti chiave:
1. Origine e scopo:
-Math-500 deriva da un set di dati più ampio creato da Openi, concentrandosi sulla risoluzione matematica dei problemi attraverso vari livelli di difficoltà. È progettato per valutare la capacità di un modello di risolvere i problemi matematici in senso generale [1].
- AIME 2024 si basa sull'esame di matematica Invitational American, una prestigiosa competizione per gli studenti delle scuole superiori. Verifica le capacità di ragionamento matematico avanzate, in particolare in aree come l'algebra, la geometria e la teoria dei numeri [2].
2. Livello di difficoltà:
- Math-500 include una vasta gamma di problemi matematici, ma è generalmente considerato meno impegnativo di AME. Viene utilizzato per valutare le capacità di ragionamento matematico di base [1].
- AIME 2024 è costituito da domande altamente impegnative che sono significativamente più difficili di quelle in matematica-500. È progettato per valutare le capacità matematiche avanzate, spesso superando le capacità dei modelli non stagionali e persino le prestazioni umane in alcuni casi [2].
3. Metodo di valutazione:
-Math-500 utilizza un meccanismo di convalida della risposta a due stadi che coinvolge la classificazione basata su script con Sympy per il controllo dell'uguaglianza simbolica e un modello di controllo del modello di linguaggio come backup. Ciò garantisce una valutazione precisa delle risposte matematiche [1].
- AIME 2024 valuta i modelli in base alla loro capacità di fornire risposte numeriche corrette alle domande. La valutazione è semplice, concentrandosi sull'accuratezza delle risposte interi fornite dai modelli [2].
4. Formato e disponibilità di domande:
- Le domande di matematica-500 fanno parte di un set di dati più ampio e non sono esposte pubblicamente come domande. Il set di dati viene utilizzato per valutare le capacità matematiche dei modelli senza l'influenza della pretrattamento su domande specifiche [1].
- AIME 2024 Domande e risposte sono disponibili al pubblico, il che potrebbe potenzialmente influenzare le prestazioni del modello se le domande sono incluse nel corpus di pretraining. Ciò ha portato a osservazioni in cui i modelli funzionano meglio sulle versioni precedenti di AIME a causa della potenziale esposizione durante l'allenamento [2].
5. Pesatura nelle suite di valutazione:
- Sia Math-500 che AIME 2024 fanno parte dell'indice di intelligence dell'analisi artificiale, ma sono ponderati equamente all'interno della componente di ragionamento matematico, che rappresenta il 25% dell'indice complessivo. Ciò significa che entrambi contribuiscono allo stesso modo alla valutazione delle capacità matematiche di un modello [1].
In sintesi, mentre entrambi i parametri di riferimento valutano il ragionamento matematico, differiscono in difficoltà, origine, metodi di valutazione e nel tipo di abilità matematiche che valutano.
Citazioni:
[1] https://artificialalanysis.ai/methodology/intelligence-omchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.credo.ai/model-trust-scores-ai-evaluation?_bhlid=c0cc9970c0c0c61aac64f22e22216b45b92bb72c69a
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1