DeepSeek sasniedza augstu AIME 2024 etalona precizitāti, izmantojot vairākas novatoriskas metodes:
1. Koncentrēta apmācības datu ģenerēšana: DeepSeek ģenerēti apmācības dati, kurus varētu automātiski pārbaudīt, īpaši tādās jomās kā matemātika, kur pareizība ir nepārprotama. Šī pieeja ļāva viņiem koncentrēties uz augstas kvalitātes, atbilstošu datu izveidi, kas tieši veicina modeļa veiktspējas uzlabošanu [1].
2. Efektīvas atlīdzības funkcijas: tās izstrādāja ļoti efektīvas atlīdzības funkcijas, kas izstrādātas, lai identificētu, kuri jaunie apmācības piemēri faktiski uzlabotu modeli. Šī stratēģija palīdzēja izvairīties no skaitļošanas resursu izšķērdēšanas par liekiem datiem, nodrošinot modeli, kas apgūti no visvērtīgākajiem piemēriem [1].
3. Destilācija un modeļa optimizācija: DeepSeek izmantoja modeļa destilācijas metodes, lai izveidotu mazākus modeļus, kas joprojām sasniedza iespaidīgus rezultātus. Piemēram, to destilētais 7B modelis pārspēja tādu lielāku atvērtā pirmkoda modeļu, piemēram, QWQ-32B-prewiew, precizitāti, neskatoties uz to, ka tiem ir mazāk parametru. Tas parāda, cik koncentrēta apmācība var izraisīt spēcīgu veiktspēju noteiktos jomās ar pieticīgiem skaitļošanas resursiem [1].
4. Testa laika aprēķināšanas un argumentācijas ķēdes: DeepSeEK modeļi, piemēram, DeepSeek R1, izmanto paņēmienu ar nosaukumu "testa laika aprēķināšana", kas ļauj modelim vairāk laika un skaitļošanas jaudas tērēt katrai problēmai. Šī pieeja atdarina cilvēku līdzīgas apspriedes, kā rezultātā rodas precīzāka un pārdomātāka reakcija. Tā kā modelis ģenerē ilgākas spriešanas ķēdes, tas arvien lielāku precizitāti var atrisināt arvien sarežģītākas problēmas [6].
5. Caurspīdīgums un daudzu aģentu arhitektūra: DeepSeek modeļi, īpaši DeepSEEK-R1, izmanto daudzu aģentu sadarbības arhitektūru, kas integrē dažādus spriešanas ceļus. Šī sinerģija palīdz mazināt uzdevumam specifiskas novirzes un uzlabo konsekvenci, samazinot mainīgumu. Strukturētā pieeja ļauj modelim dinamiski noteikt prioritāti augstas ticamības risinājumiem, vienlaikus iteratīvi uzlabojot mazāk noteiktas izejas [3].
Šīs metodes kolektīvi veicina DeepSeek iespaidīgo sniegumu AIME 2024 etalonā, parādot, kā stratēģiskās apmācības metodes un modeļa dizains var pārspēt neapstrādātu skaitļošanas jaudu, lai sasniegtu augstu precizitāti.
Atsauces:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-meeth-than-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models