Výkon spoločnosti Deepseek na referenčných hodnotách Math-500 aj AIME 2024 zdôrazňuje jeho robustné matematické schopnosti uvažovania. Takto sa jeho výkon v týchto referenčných hodnotách navzájom dopĺňa:
Math-500 Benchmark
Deepseek-R1 vyniká na meradle Math-500 s pôsobivou presnosťou 97,3%, mierne prekonal skóre OpenAI O1-1217 96,4%[4] [7]. Táto referenčná hodnota testuje modely rôznych matematických problémov na vysokej škole, ktoré si vyžadujú podrobné zdôvodnenie. Silný výkon Deepseek-R1 tu naznačuje jeho schopnosť zvládnuť širokú škálu matematických konceptov s vysokou presnosťou.AIME 2024 Benchmark
Na referenčnej hodnote AIME 2024, ktorý hodnotí pokročilé viacstupňové matematické zdôvodnenie, Deepseek-R1 dosahuje mieru úspešnosti 79,8%, mierne pred 79,2%OpenAI O1-1217 [7]. Táto referenčná hodnota sa zameriava na zložitejšie a náročnejšie matematické problémy v porovnaní s Math-500. Výkon DeepSeek-R1 tu ukazuje, že jeho schopnosť efektívne riešiť pokročilé úlohy matematického uvažovania.Doplnkový výkon
Doplnková povaha výkonu Deepseeka v týchto referenčných hodnotách spočíva v ich rôznych zameraniach:-Math-500 zdôrazňuje široké pokrytie matematických konceptov na úrovni strednej školy, kde Deepseek-R1 vykazuje výnimočnú presnosť. To naznačuje, že Deepseek je vhodný pre širokú škálu matematických problémov, ktoré si vyžadujú priame zdôvodnenie.
- AIME 2024 sa zameriava na pokročilé, viacstupňové problémy, ktoré si vyžadujú hlbšie matematické vhľady a uvažovanie. Silný výkon Deepseek-R1 tu naznačuje, že dokáže zvládnuť zložitejšie matematické výzvy.
Tieto výsledky spoločne poukazujú na všestrannosť Deepseek-R1 v matematickom zdôvodnení, ktoré sú schopné širokého pokrytia základných konceptov a pokročilého riešenia problémov. Vďaka tomu je Deepseek-R1 silným uchádzačom v rôznych matematických úvahách, od základných po pokročilé úrovne.
Okrem toho stratégie vývoja a školenia za Deepseek-R1, ako je generovanie overiteľných údajov o školení a efektívne funkcie odmeňovania, prispievajú k jeho silnému výkonu v týchto referenčných hodnotách [2]. Tento prístup umožňuje Deepseek-R1 optimalizovať proces tréningu so zameraním na zlepšenie výkonnosti v konkrétnych oblastiach, ako je matematika bez vyžadovania nadmerných výpočtových zdrojov.
Citácie:
[1] https://huggingface.co/deepseek-ai/deepseek-r1
[2] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-matter-matter-more-han-compute-in-2025/
[3] https://www.byteplus.com/en/topic/404998
[4] https://www.vals.ai/benchmarks/math500-03-13-2025
[5] https://www.prompthub.us/blog/deepseek-r-1-model-model-wow-and-how-it-------- --naks-against-openais-o1
[6] https://arxiv.org/html/2412.19437v1
[7] https://www.datacamp.com/blog/deepseek-r1
[8] https://www.vals.ai/benchmarks/aime-2025-03-11