Hur förbättrar Deepseek R1: s förstärkningsinlärningsstrategi dess resonemangsförmåga

Förstärkningsinlärningsram

DeepSeek R1 använder Group Relative Policy Optimization (GRPO), ett regelbaserat RL-ramverk som gör det möjligt för modellen att lära sig av försök och fel utan att förlita sig på förutbestämda datasätt. Detta tillvägagångssätt gör det möjligt för modellen att utforska ett stort lösningsutrymme och upptäcka unika resonemangsmönster och strategier som kanske inte finns i övervakade träningsdata [1] [2] [4]. Genom att stimulera resonemang under RL-processen kan Deepseek R1 generera sammanhängande tankekedjor och engagera sig i självverifiering och reflektion, som är kritiska för komplex problemlösning [4].

Träningsprocess för flera steg

Utbildningen av Deepseek R1 är uppdelad i flera faser:

1. Kallstartfas: Modellen börjar med en liten mängd högkvalitativa övervakade data som samlats in från sin föregångare, Deepseek R1-Zero. Denna fas hjälper till att mildra frågor som dålig läsbarhet och språkblandning som observerades i tidigare modeller [1] [2].

2. Resonemangorienterad RL: Efter den kalla starten genomgår modellen omfattande resonemangorienterad RL-träning. Denna fas fokuserar på att förbättra kapaciteten inom specifika domäner som kodning, matematik och logik, där tydliga lösningar kan definieras med belöningsregler [3] [4].

3. Finjustering med ny data: Efter initial RL-utbildning genereras nya övervakade data genom avstötningsprovtagning baserat på RL-kontrollpunkten. Dessa data används sedan för ytterligare finjustering, vilket gör att modellen kan förfina sina resonemangsförmågor mellan olika uppgifter [1] [2].

Prestationsresultat

Resultatet av denna stränga träningsprocess är en modell som uppnår prestandanivåer som är jämförbara med ledande modeller som OpenAI: s O1-1217 på resonemangsuppgifter. Till exempel visade Deepseek R1 betydande förbättringar av riktmärken, med passfrekvenser som ökade från 15,6% till 71% på AIME 2024 -uppgifter, vilket visade dess förbättrade resonemang [1] [2].

Sammanfattningsvis främjar Deepseek R1: s förstärkningsinlärningsstrategi inte bara oberoende resonemang utan förbättrar också problemlösningseffektiviteten genom att minimera beroende av omfattande övervakade datasätt. Detta placerar det som ett kraftfullt verktyg i landskapet i stora språkmodeller.