Deepseek dosiahol vysokú presnosť v referenčnej hodnote AIME 2024 využívaním niekoľkých inovatívnych techník:
1. Tento prístup im umožnil zamerať sa na vytváranie vysokokvalitných a relevantných údajov, ktoré priamo prispievajú k zlepšeniu výkonnosti modelu [1].
2. Účinné funkcie odmeňovania: Vyvinuli vysoko efektívne funkcie odmeňovania určené na zistenie, ktoré nové príklady tréningu by tento model skutočne zlepšil. Táto stratégia pomohla vyhnúť sa plytvaniu výpočtovými zdrojmi z redundantných údajov a zabezpečila, aby sa model poučil z najcennejších príkladov [1].
3. Destilácia a optimalizácia modelu: Deepseek použil techniky destilácie modelu na vytvorenie menších modelov, ktoré stále dosiahli pôsobivé výsledky. Napríklad ich destilovaný model 7B prekonal presnosť väčších modelov s otvoreným zdrojom, ako je napríklad QWQ-32B Preview, napriek tomu, že má menej parametrov. To dokazuje, ako môže cielené školenie viesť k silnému výkonu v konkrétnych doménach so skromnými výpočtovými zdrojmi [1].
4. Testovaný výpočtový a zdôvodňujúci reťazce: DeepSeek Modely, ako napríklad DeepSeek R1, využívajú techniku nazývanú „výpočet času“, ktorá umožňuje modelu tráviť viac času a výpočtovú silu pri každom probléme. Tento prístup napodobňuje uvažovanie podobné človeku, čo vedie k presnejším a premyslenejším reakciám. Pretože model generuje dlhšie odôvodňovacie reťazce, môže riešiť stále zložitejšie problémy s väčšou presnosťou [6].
5. Transparentnosť a architektúra viacerých agentov: Modely DeepSeek, najmä Deepseek-R1, používajú architektúru viacerých agentov, ktorá integruje rôzne úvahy. Táto synergia pomáha zmierňovať zaujatosti špecifické pre úlohy a zvyšuje konzistentnosť znížením variability. Štruktúrovaný prístup umožňuje modelu dynamicky uprednostňovať riešenia s vysokou starostlivosťou, zatiaľ čo iteratívne rafinácia menej určitých výstupov [3].
Tieto techniky kolektívne prispievajú k pôsobivému výkonu spoločnosti Deepseek v referenčnej hodnote AIME 2024 a predstavujú, ako strategické metódy tréningu a návrh modelu môžu prekonať nespracovanú výpočtovú silu pri dosahovaní vysokej presnosti.
Citácie:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-matter-matter-more-han-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-model-wow-and-how-it------------------ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityAlliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models