Výkon spoločnosti Deepseek v referenčnej hodnote AIME 2024 poskytuje významný pohľad na jeho celkové matematické schopnosti zdôvodnenia. AIME je náročná matematická súťaž pre študentov stredných škôl, ktorá je známa svojimi prísnymi a zložitými problémami. Modely spoločnosti Deepseek preukázali pôsobivé výsledky v tomto meradle, čo predstavuje ich schopnosť riešiť pokročilé matematické koncepty.
Kľúčové zvýraznenie výkonu
- Úspechy presnosti: Modely spoločnosti DeepSeek dosiahli pozoruhodnú presnosť v AIME 2024. Napríklad model DeepSeek R1 dosiahol rýchlosť presnosti 52,5%, prekonal ďalšie modely, ako je O1A-Preview, ktorý dosiahol 44,6% [5]. Okrem toho model parametrov 32b z DeepSeek dosiahol presnosť 72,6%, hoci to bolo o niečo nižšie ako iný model, O1-0912, ktorý dosiahol 74,4% [1].
- Porovnanie s ľudským výkonom: Stredné skóre pre ľudských účastníkov v AIME je historicky medzi 4 a 6 správnymi odpoveďami z 15 otázok. Zatiaľ čo modely Deepseek preukázali silný výkon, stále čelia výzvam pri neustálom riešení pokročilých matematických problémov, podobne ako u ľudských účastníkov [7].
-Zdôvodnenie a riešenie problémov: Modely DeepSeek vynikajú v matematickom zdôvodnení využívaním techník, ako sú podrobné zdôvodnenie a používanie nástrojov. Je to zrejmé z ich výkonu v iných matematických referenčných hodnotách, kde prekonali existujúce modely s otvoreným zdrojom [2]. Schopnosť poskytovať transparentné procesy zdôvodnenia, podobne ako prerokovanie človeka, zvyšuje ich vzdelávaciu hodnotu a dôveryhodnosť [5].
Obmedzenia a výzvy
- Variabilita výkonnosti: Pri výkone DeepSeek sa vyskytuje výrazný výpadok, keď sa modely DeepSeek stretnú s variantnými otázkami alebo s tými, ktoré nie sú priamo zahrnuté do svojich tréningových údajov. Napríklad, zatiaľ čo vynikajú na konkrétnych testovacích údajoch, ich schopnosť zovšeobecniť sa k zmeneným verziám otázok je obmedzená [4].
- Referenčná saturácia: Referenčná hodnota AIME zostáva pre modely AI náročná, pretože ešte nie je nasýtená, čo znamená, že modely sa môžu na tejto úlohe stále výrazne zlepšiť [7]. To naznačuje, že zatiaľ čo Deepseek urobil kroky, existuje priestor na ďalší vývoj v matematickom zdôvodnení.
Budúce dôsledky
Výkon spoločnosti Deepseek na AIME 2024 zdôrazňuje potenciál pre modely AI vyniknúť v matematickom zdôvodnení pri kombinácii odborných znalostí domén s efektívnymi školiacimi technikami. Tento prístup by mohol viesť k špecializovanejším modelom, ktoré dosahujú silné výsledky so skromnými výpočtovými zdrojmi, ktoré presúvajú zameranie zo surovej výpočtovej energie na inteligentné školiace stratégie [1]. Keď sa AI neustále vyvíja, modely ako Deepseek budú hrať rozhodujúcu úlohu pri posúvaní hraníc matematických schopností uvažovania.
Citácie:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-matter-matter-more-han-compute-in-2025/
[2] https://github.com/deepseek-ai/deepseek-math
[3] https://www.byteplus.com/en/topic/384068
[4] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[5] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[6] https://www.medrxiv.org/content/10.1101/2025.02.06.25321749v1.full-text
[7] https://www.vals.ai/benchmarks/aime-2025-03-11
[8] https://arxiv.org/html/2503.10573v1