DeepSEEK-R1 parāda spēcīgu sniegumu dažādos matemātiskos etalonos, īpaši Math-500 un AIME 2024 testos. Šeit ir detalizēts tā snieguma salīdzinājums šiem diviem etaloniem:
MATH-500 etalons
-Veiktspēja: DeepSeek-R1 sasniedz iespaidīgu caurlaidi@1 rezultātu 97,3% Math-500 etalonā. Šis rādītājs norāda, ka modelis ir ļoti efektīvs, lai atrisinātu daudzveidīgas vidusskolas līmeņa matemātiskas problēmas, kurām nepieciešama detalizēta argumentācija [1] [4].-Salīdzinājums ar Openai O1-1217: DeepSEEK-R1 nedaudz pārspēj Openai O1-1217, kura rezultāts ir 96,4% uz tā paša etalona. Tas liek domāt, ka DeepSEEK-R1 ir neliela mala, risinot matemātisko problēmu veidus, kas parādīti matemātikā-500 [4] [6].
Aime 2024 etalons
- Veiktspēja: AIME 2024 etalonā DeepSeek-R1 vērtējums ir 79,8%. Šis etalons novērtē uzlaboto daudzpakāpju matemātisko spriešanu, un DeepSeek-R1 veiktspēja norāda, ka tas spēj risināt sarežģītas matemātiskas problēmas [1] [4].-Salīdzinājums ar Openai O1-1217: DeepSEEK-R1 arī nedaudz pārspēj Openai O1-1217 uz AIME 2024, kura rezultāts ir 79,2%. Šī mazā atšķirība liek domāt, ka abi modeļi ir ļoti konkurētspējīgi uzlabotos matemātiskās spriešanas uzdevumos [4] [6].
Galvenās atšķirības starp etaloniem
-Problēmas sarežģītība: AIME 2024 koncentrējas uz progresīvākām un sarežģītākām matemātiskām problēmām, salīdzinot ar Math-500, kas ietver plašāku vidusskolas līmeņa problēmu klāstu.-Modeļa veiktspēja: DeepSEEK-R1 parāda augstāku panākumu līmeni matemātikā-500 nekā AIME 2024, norādot, ka tas ir efektīvāks, lai risinātu plašu matemātisko problēmu klāstu, nevis tikai uzlabotās.
Kopumā DeepSEEK-R1 demonstrē spēcīgas matemātiskas spriešanas iespējas ar ievērojamu priekšrocību dažādu matemātisku problēmu risināšanā, kā redzams matemātikas-500 etalonā, un konkurences sniegumu uzlabotos matemātiskās spriešanas uzdevumos, ko novērtēja AIME 2024.
Atsauces:
[1] https://huggingface.co/deepseek-ai/deepseek-r1
[2] https://artificialanalysis.ai/models/deepseek-r1
.
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://arcprize.org/blog/r1-zero-r1-results-analysis
[6] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models
.
[8] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-meater-more-than-compute-in-2025/