Ako zvyšuje prístup k posilneniu výučby Deepseek R1

VÝROBA VÝKONNÝ RÁMOR

DeepSeek R1 používa optimalizáciu relatívnej politiky skupiny (GRPO), RL založený na pravidlách, ktorý umožňuje modelu učiť sa zo pokusu a omylu bez spoliehania sa na vopred označené súbory údajov. Tento prístup umožňuje modelu skúmať rozsiahly priestor riešenia, objaviť jedinečné vzorce zdôvodnenia a stratégie, ktoré nemusia byť prítomné v údajoch o výcviku pod dohľadom [1] [2] [4]. Stimulovaním zdôvodnenia počas procesu RL môže Deepseek R1 vytvárať koherentné reťazce myslenia a zapojiť sa do sebavedomia a reflexie, ktoré sú rozhodujúce pre zložité riešenie problémov [4].

Viacstupňový tréningový proces

Výcvik Deepseek R1 je rozdelený do niekoľkých fáz:

1. Fáza za studena: Model začína malým množstvom vysoko kvalitných údajov pod dohľadom zozbieraných od jeho predchodcu Deepseek R1-Zero. Táto fáza pomáha zmierňovať problémy, ako je zlá čitateľnosť a miešanie jazykov, ktoré boli pozorované v predchádzajúcich modeloch [1] [2].

2. RL orientovaný na zdôvodnenie: Po studenom štarte model prechádza rozsiahlym výcvikom RL orientovaným na zdôvodnenie. Táto fáza sa zameriava na zlepšenie schopností v konkrétnych doménach, ako je kódovanie, matematika a logika, kde je možné jasné riešenia definovať pomocou pravidiel odmeňovania [3] [4].

3. Jemne doladenie novými údajmi: Po počiatočnom tréningu RL sa nové údaje pod dohľadom generujú prostredníctvom odberu vzoriek odmietnutia na základe kontrolného bodu RL. Tieto údaje sa potom používajú na ďalšie doladenie, čo umožňuje modelu vylepšiť jeho uvažovacie schopnosti v rôznych úlohách [1] [2].

Výsledky výkonnosti

Výsledkom tohto prísneho tréningového procesu je model, ktorý dosahuje úrovne výkonnosti porovnateľné s vedúcimi modelmi, ako je Openaj O1-1217 pri odôvodnení úloh. Napríklad DeepSeek R1 preukázal významné zlepšenia referenčných hodnôt, pričom miera úspešnosti sa zvýšila z 15,6% na 71% pri úlohách AIME 2024, čím sa ukázalo jeho zvýšené schopnosti zdôvodňovania [1] [2].

Stručne povedané, prístup k posilneniu výučby Deepseek R1 nielenže podporuje nezávislé zdôvodnenie, ale tiež zvyšuje účinnosť riešenia problémov minimalizáciou spoliehania sa na rozsiahle súbory údajov pod dohľadom. To ho umiestni ako výkonný nástroj v krajine veľkých jazykových modelov.