Deepseek a obținut o precizie ridicată pe referința AIME 2024, prin utilizarea mai multor tehnici inovatoare:
1. Generarea de date de instruire concentrată: Date de instruire generate de Deepseek, care ar putea fi verificate automat, în special în domenii precum matematica în care corectitudinea este lipsită de ambiguitate. Această abordare le-a permis să se concentreze pe crearea de date relevante de înaltă calitate, care contribuie direct la îmbunătățirea performanței modelului [1].
2. Funcții de recompensă eficiente: au dezvoltat funcții de recompensă extrem de eficiente concepute pentru a identifica ce noi exemple de instruire ar îmbunătăți efectiv modelul. Această strategie a contribuit la evitarea pierderii resurselor de calcul pe date redundante, asigurându -se că modelul învățat din cele mai valoroase exemple [1].
3. Distilarea și optimizarea modelului: Deepseek a folosit tehnici de distilare a modelului pentru a crea modele mai mici care au obținut încă rezultate impresionante. De exemplu, modelul lor distilat 7B a depășit precizia unor modele mai mari open-source precum QWQ-32B-Preview, în ciuda faptului că are mai puțini parametri. Acest lucru demonstrează modul în care pregătirea focalizată poate duce la o performanță puternică în domenii specifice cu resurse de calcul modeste [1].
4. Test-timp de calcul și lanțuri de raționament: modele Deepseek, cum ar fi Deepseek R1, utilizează o tehnică numită „Test-Time Calcul”, care permite modelului să petreacă mai mult timp și putere de calcul pentru fiecare problemă. Această abordare imită deliberarea asemănătoare omului, ceea ce duce la răspunsuri mai precise și mai atente. Deoarece modelul generează lanțuri de raționament mai lungi, poate rezolva probleme din ce în ce mai complexe, cu o precizie mai mare [6].
5. Transparență și arhitectură multi-agent: Modelele Deepseek, în special Deepseek-R1, utilizează o arhitectură de colaborare multi-agent care integrează căi de raționament diverse. Această sinergie ajută la atenuarea prejudecăților specifice sarcinii și îmbunătățește consistența prin reducerea variabilității. Abordarea structurată permite modelului să acorde prioritate dinamică a soluțiilor de înaltă încredere, în timp ce rafinarea iterativă mai puțin anumite rezultate [3].
Aceste tehnici contribuie colectiv la performanța impresionantă a Deepseek pe referința AIME 2024, prezentând modul în care metodele strategice de formare și proiectarea modelului pot depăși puterea de calcul brută în obținerea unei precizii ridicate.
Citări:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-AI-Expertise-might-Matter-more-Than-Compute-N-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
]
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-AI-Development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models