Matemātiskās un AIME 2024 etalonus izmanto, lai novērtētu matemātisko spriešanas iespējas AI modeļos, taču tie atšķiras vairākos galvenajos aspektos:
1. Izcelsme un mērķis:
-Math-500 ir iegūts no lielāka Openai izveidotā datu kopas, koncentrējoties uz matemātisko problēmu risināšanu dažādos grūtības līmeņos. Tas ir paredzēts, lai novērtētu modeļa spēju atrisināt matemātiskas problēmas vispārējā nozīmē [1].
- AIME 2024 ir balstīts uz Amerikas ielūguma matemātikas eksāmenu, kas ir prestižs konkurss vidusskolēniem. Tas pārbauda progresīvas matemātiskās spriešanas prasmes, jo īpaši tādās jomās kā algebra, ģeometrija un skaitļu teorija [2].
2. Grūtības līmenis:
- Math-500 ietver plašu matemātisko problēmu klāstu, bet parasti tiek uzskatīts par mazāk izaicinošu nekā AIME. To izmanto, lai novērtētu matemātiskās pamatošanas iespējas [1].
- AIME 2024 sastāv no ļoti sarežģītiem jautājumiem, kas ir ievērojami grūtāki nekā Math-500. Tas ir paredzēts, lai novērtētu progresīvas matemātiskās prasmes, dažos gadījumos bieži pārsniedzot nepamatotu modeļu un pat cilvēku snieguma iespējas [2].
3. Novērtēšanas metode:
-Math-500 izmanto divpakāpju atbildes validācijas mehānismu, kurā iesaistīts skriptu vērtējums ar simbolu simboliskai vienlīdzības pārbaudei un valodas modeļa vienlīdzības pārbaudītāju kā rezerves kopiju. Tas nodrošina precīzu matemātisko atbilžu šķirošanu [1].
- AIME 2024 novērtē modeļus, pamatojoties uz to spēju sniegt pareizas skaitliskas atbildes uz jautājumiem. Novērtējums ir vienkāršs, koncentrējoties uz modeļu sniegto veselu skaitļu atbilžu precizitāti [2].
4. Jautājuma formāts un pieejamība:
- Matemātika-500 jautājumi ir daļa no lielākas datu kopas un nav tik publiski pakļauti kā AIME jautājumi. Datu kopa tiek izmantota, lai novērtētu modeļu matemātiskās spējas, neietekmējot iepriekšēju darbu pie konkrētiem jautājumiem [1].
- AIME 2024 Jautājumi un atbildes ir publiski pieejami, kas potenciāli varētu ietekmēt modeļa veiktspēju, ja jautājumi ir iekļauti pirmskara korpusā. Tas ir novedis pie novērojumiem, kad modeļi labāk darbojas vecākajās AIME versijās, jo potenciālā iedarbība apmācības laikā [2].
5. Svēršana vērtēšanas apartamentos:
- Gan Math-500, gan AIME 2024 ir daļa no mākslīgās analīzes intelekta indeksa, bet tie ir vienādi svērtā matemātiskās spriešanas komponentā, kas veido 25% no kopējā indeksa. Tas nozīmē, ka viņi abi vienādi veicina modeļa matemātisko spēju novērtēšanu [1].
Rezumējot, kaut arī abi etaloni novērtē matemātisko spriešanu, tie atšķiras pēc grūtībām, izcelsmes, novērtēšanas metodēm un viņu novērtēto matemātisko prasmju veidu.
Atsauces:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.valals.ai/benchmarks/aime-2025-03-11
[3.]
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-prewiew
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1