Deepseek-R1 näitab tugevat jõudlust erinevatel matemaatilistel võrdlusalustel, eriti Math-500 ja AIME 2024 testidel. Siin on üksikasjalik võrdlus selle jõudluse osas nendel kahel võrdlusalusel:
Math-500 võrdlusalus
-Performance: Deepseek-R1 saavutab Math-500 võrdlusaluse muljetavaldava läbisõidu@1 skoori 97,3%. See tulemus näitab, et mudel on väga tõhus mitmekesiste keskkooli tasemel matemaatiliste probleemide lahendamisel, mis nõuavad üksikasjalikke põhjendusi [1] [4].-Võrdlus OpenAI O1-1217-ga: Deepseek-R1 ületab kergelt OpenAI O1-1217, mis hindab samal võrdlusalusel 96,4%. See viitab sellele, et DeepSEEK-R1-l on väike serv Math-500-s esitatud matemaatiliste probleemide tüüpide käsitlemisel [4] [6].
AIME 2024 võrdlusalus
- Performance: AIME 2024 võrdlusaluse korral hindab Deepseek-R1 79,8%. See võrdlusalus hindab täiustatud mitmeastmelisi matemaatilisi mõttekäike ja Deepseek-R1 jõudlus näitab, et see on võimeline käsitlema keerulisi matemaatilisi probleeme [1] [4].-Võrdlus OpenAi O1-1217-ga: Deepseek-R1 edestab AIME 2024-l ka OpenAI O1-1217 pisut, mis hindab 79,2%. See marginaalne erinevus viitab sellele, et mõlemad mudelid on täiustatud matemaatiliste mõttekäikude puhul väga konkurentsivõimelised [4] [6].
Võtme erinevused võrdlusaluste vahel
-Probleemide keerukus: AIME 2024 keskendub edasijõudnumatele ja keerukamatele matemaatilistele probleemidele, võrreldes Math-500-ga, mis hõlmab laiemat hulka keskkooli tasemel probleeme.-Mudeli jõudlus: Deepseek-R1 näitab Math-500 suuremat edukust kui AIME 2024, mis näitab, et see on tõhusam mitmesuguste matemaatiliste probleemide lahendamisel, mitte ainult arenenud.
Üldiselt demonstreerib Deepseek-R1 tugevaid matemaatilisi mõttekäike, millel on märkimisväärne serv mitmesuguste matemaatiliste probleemide lahendamisel, nagu nähtub Math-500 võrdlusaluses, ja konkurentsivõimeliste jõudlustega täiustatud matemaatiliste mõttekäikude ülesannetes, mida hinnatakse AIME 2024 järgi.
Tsitaadid:
[1] https://huggingface.co/deepseek-ai/deepseek-r1
[2] https://artificialanalysis.ai/models/deepseek-r1
]
[4] https://www.datacamp.com/blog/deepseek-r1
[5] https://arcprize.org/blog/r1-zero-r1-results-analysis
]
]
]