Виступ DeepSeek як на орієнтирах Math-500, так і на AIME 2024 підкреслює його надійні математичні можливості міркувань. Ось як його ефективність на цих орієнтирах доповнює один одного:
Математика-500
DeepSeek-R1 переважає на орієнтирі Math-500 з вражаючою точністю 97,3%, дещо перевершуючи показник OpenAI O1-1217 96,4%[4] [7]. Цей еталон тестує моделі на різноманітних математичних проблемах середнього шкільного рівня, які потребують детальних міркувань. Тут сильна продуктивність DeepSeek-R1 вказує на його здатність обробляти широкий спектр математичних концепцій з високою точністю.AIME 2024 Benchmark
На еталоні AIME 2024, який оцінює передові багатоетапні математичні міркування, DeepSeek-R1 досягає 79,8%, що трохи випереджає 79,2%OpenAI O1-1217 [7]. Цей орієнтир зосереджується на більш складних та складних математичних проблемах порівняно з Math-500. Виступ DeepSeek-R1 тут демонструє свою здатність ефективно вирішити передові математичні завдання.додаткові показники
Додатковий характер виконання DeepSeek на цих орієнтирах полягає в їхніх різних фокусах:-Math-500 підкреслює широке висвітлення математичних концепцій на рівні середньої школи, де DeepSeek-R1 демонструє виняткову точність. Це говорить про те, що DeepSeek добре підходить для широкого спектру математичних проблем, які потребують прямого міркування.
- AIME 2024 зосереджується на передових, багатоетапних проблемах, які потребують глибшого математичного розуміння та міркувань. Тут сильна продуктивність DeepSeek-R1 вказує на те, що він також може вирішити більш складні математичні виклики.
Разом ці результати підкреслюють універсальність DeepSeek-R1 у математичних міркуваннях, здатних як до широкого висвітлення основних понять, так і розширеного вирішення проблем. Це робить DeepSeek-R1 сильним суперником у різних завданнях математичних міркувань-від фундаментального до просунутих рівнів.
Більше того, стратегії розробки та навчання, що стоять за DeepSeek-R1, такі як генерування перевірених даних про перевірку та ефективні функції винагороди, сприяють його сильній ефективності в цих орієнтирах [2]. Цей підхід дозволяє DeepSeek-R1 оптимізувати свій навчальний процес, зосереджуючись на підвищенні продуктивності в конкретних областях, таких як математика, не вимагаючи надмірних обчислювальних ресурсів.
Цитати:
[1] https://huggingface.co/deepseek-ai/deepseek-r1
[2.
[3] https://www.byteplus.com/en/topic/404998
[4] https://www.vals.ai/benchmarks/math500-03-13-2025
[5] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[6] https://arxiv.org/html/2412.19437v1
[7] https://www.datacamp.com/blog/deepseek-r1
[8] https://www.vals.ai/benchmarks/aime-2025-03-11