เกณฑ์มาตรฐาน MATH-500 และ AIME 2024 ใช้เพื่อประเมินความสามารถในการใช้เหตุผลทางคณิตศาสตร์ในแบบจำลอง AI แต่แตกต่างกันในหลาย ๆ ด้านสำคัญ:
1. ต้นกำเนิดและวัตถุประสงค์:
-Math-500 มาจากชุดข้อมูลขนาดใหญ่ที่สร้างโดย OpenAI โดยมุ่งเน้นไปที่การแก้ปัญหาทางคณิตศาสตร์ในระดับความยากต่างๆ มันถูกออกแบบมาเพื่อประเมินความสามารถของแบบจำลองในการแก้ปัญหาทางคณิตศาสตร์ในแง่ทั่วไป [1]
- AIME 2024 ขึ้นอยู่กับการสอบคณิตศาสตร์ของชาวอเมริกัน Invitational ซึ่งเป็นการแข่งขันที่มีชื่อเสียงสำหรับนักเรียนมัธยมปลาย มันทดสอบทักษะการใช้เหตุผลทางคณิตศาสตร์ขั้นสูงโดยเฉพาะอย่างยิ่งในพื้นที่เช่นพีชคณิตเรขาคณิตและทฤษฎีจำนวน [2]
2. ระดับความยาก:
- Math-500 รวมถึงปัญหาทางคณิตศาสตร์ที่หลากหลาย แต่โดยทั่วไปถือว่ามีความท้าทายน้อยกว่า AIME มันถูกใช้เพื่อประเมินความสามารถในการใช้เหตุผลทางคณิตศาสตร์ขั้นพื้นฐาน [1]
- AIME 2024 ประกอบด้วยคำถามที่ท้าทายสูงซึ่งยากกว่าคำถามใน MATH-500 อย่างมาก มันถูกออกแบบมาเพื่อประเมินทักษะทางคณิตศาสตร์ขั้นสูงซึ่งมักจะเกินขีดความสามารถของแบบจำลองที่ไม่สมเหตุสมผลและแม้กระทั่งประสิทธิภาพของมนุษย์ในบางกรณี [2]
3. วิธีการประเมิน:
-Math-500 ใช้กลไกการตรวจสอบความถูกต้องสองขั้นตอนที่เกี่ยวข้องกับการให้เกรดสคริปต์โดยมีสัญลักษณ์สำหรับการตรวจสอบความเท่าเทียมกันเชิงสัญลักษณ์และตัวตรวจสอบความเท่าเทียมกันของแบบจำลองภาษาเป็นการสำรองข้อมูล สิ่งนี้ทำให้มั่นใจได้ว่าการให้คะแนนคำตอบทางคณิตศาสตร์อย่างแม่นยำ [1]
- AIME 2024 ประเมินโมเดลตามความสามารถในการให้คำตอบที่ถูกต้องสำหรับคำถาม การประเมินนั้นตรงไปตรงมาโดยมุ่งเน้นไปที่ความแม่นยำของคำตอบจำนวนเต็มที่จัดทำโดยโมเดล [2]
4. รูปแบบคำถามและความพร้อม:
- คำถามคณิตศาสตร์ 500 เป็นส่วนหนึ่งของชุดข้อมูลขนาดใหญ่และไม่เปิดเผยต่อสาธารณะเหมือนคำถาม AIME ชุดข้อมูลใช้สำหรับการประเมินความสามารถทางคณิตศาสตร์ของโมเดลโดยไม่มีอิทธิพลของการเตรียมการในคำถามเฉพาะ [1]
- คำถามและคำตอบของ AIME 2024 นั้นมีอยู่ต่อสาธารณะซึ่งอาจมีอิทธิพลต่อประสิทธิภาพของแบบจำลองหากมีคำถามรวมอยู่ในคลังข้อมูล สิ่งนี้นำไปสู่การสังเกตที่แบบจำลองทำงานได้ดีขึ้นใน AIME รุ่นเก่าเนื่องจากการได้รับสัมผัสที่อาจเกิดขึ้นระหว่างการฝึกอบรม [2]
5. การถ่วงน้ำหนักในห้องประเมินผล:
- ทั้ง Math-500 และ AIME 2024 เป็นส่วนหนึ่งของดัชนีการวิเคราะห์ประดิษฐ์ แต่พวกเขามีน้ำหนักเท่ากันภายในองค์ประกอบการให้เหตุผลทางคณิตศาสตร์ซึ่งคิดเป็น 25% ของดัชนีโดยรวม ซึ่งหมายความว่าพวกเขาทั้งคู่มีส่วนร่วมอย่างเท่าเทียมกันในการประเมินความสามารถทางคณิตศาสตร์ของแบบจำลอง [1]
โดยสรุปในขณะที่มาตรฐานทั้งสองประเมินการใช้เหตุผลทางคณิตศาสตร์พวกเขาแตกต่างกันในความยากลำบากต้นกำเนิดวิธีการประเมินและประเภทของทักษะทางคณิตศาสตร์ที่พวกเขาประเมิน
การอ้างอิง:
[1] https://artificialanalysis.ai/methodology/intelligence-benchmarking
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.credo.ai/model-trust-scores-ai-evaluation?_bhlid=c0cc9970c0c61aac64f22e22216b45b92bb72c69aa
[4] https://arxiv.org/html/2502.06781v1
[5] https://github.com/gair-nlp/aime-preview
[6] https://arxiv.org/html/2503.04550
[7] https://huggingface.co/datasets/huggingfaceh4/math-500
[8] https://arxiv.org/html/2410.03131v1