DeepSeek oppnådde høy nøyaktighet på AIME 2024 -målestokken ved å bruke flere innovative teknikker:
1. Fokuserte treningsdataperenerering: DeepSeek genererte treningsdata som automatisk kan verifiseres, spesielt innen domener som matematikk der korrekthet er entydig. Denne tilnærmingen tillot dem å fokusere på å skape relevante data av høy kvalitet som direkte bidrar til å forbedre modellytelsen [1].
2. Effektive belønningsfunksjoner: De utviklet svært effektive belønningsfunksjoner designet for å identifisere hvilke nye treningseksempler som faktisk ville forbedre modellen. Denne strategien bidro til å unngå å kaste bort beregningsressurser på overflødige data, og sikret at modellen lærte av de mest verdifulle eksemplene [1].
3. Destillasjon og modelloptimalisering: DeepSeek brukte modelldestillasjonsteknikker for å lage mindre modeller som fremdeles oppnådde imponerende resultater. For eksempel overgikk deres destillerte 7B-modell nøyaktigheten til større open source-modeller som QWQ-32B-Preview, til tross for at de hadde færre parametere. Dette demonstrerer hvordan fokusert trening kan føre til sterk ytelse i spesifikke domener med beskjedne beregningsressurser [1].
4. Test-tid-beregnings- og resonnementkjeder: DeepSeek-modeller, for eksempel DeepSeek R1, bruker en teknikk kalt "Test-Time Compute", som gjør at modellen kan bruke mer tid og beregningskraft på hvert problem. Denne tilnærmingen etterligner menneskelignende overlegg, noe som resulterer i mer nøyaktige og gjennomtenkte svar. Ettersom modellen genererer lengre resonnementkjeder, kan den løse stadig mer komplekse problemer med større nøyaktighet [6].
5. Gjennomsiktighet og multi-agent arkitektur: DeepSeek-modeller, spesielt DeepSeek-R1, bruker en multi-agent samarbeidsarkitektur som integrerer forskjellige resonnementveier. Denne synergien hjelper til med å dempe oppgavespesifikke skjevheter og forbedrer konsistensen ved å redusere variabiliteten. Den strukturerte tilnærmingen gjør at modellen dynamisk prioriterer løsninger med høy tillit, mens iterativt foredler mindre visse utganger [3].
Disse teknikkene bidrar kollektivt til DeepSeeks imponerende ytelse på AIME 2024 -målestokken, og viser hvordan strategiske treningsmetoder og modelldesign kan overgå rå beregningskraft for å oppnå høy nøyaktighet.
Sitasjoner:
[1] https://www.geekwire.com/2025/deepseeks-new-model-show-that-ai-expertise-might-matter-more-han compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-odel-overview-and-how-it-ranks-ainst-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-gen-from-kina
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-hair
[9] https://www.inferless.com/learn/the-forlimate-guide-to-deepseek-modeller