Hogyan javítja a DeepSeek R1 megerősítési tanulási megközelítése érvelési képességeit

A megerősítés tanulási kerete

A DeepSeek R1 a csoportos relatív politika optimalizálását (GRPO) alkalmazza, egy szabályalapú RL-keretrendszert, amely lehetővé teszi a modell számára, hogy a próba és a hiba miatt megtanuljon anélkül, hogy támaszkodna az előre jelölt adatkészletekre. Ez a megközelítés lehetővé teszi a modell számára, hogy egy hatalmas megoldási teret fedezzen fel, felfedezve az egyedi érvelési mintákat és stratégiákat, amelyek esetleg nem jelennek meg a felügyelt képzési adatokban [1] [2] [4]. Az RL-folyamat során az érvelés ösztönzésével a DeepSeek R1 koherens gondolkodási láncokat generálhat, és önellenőrzésben és reflexióban vehet részt, amelyek kritikusak a komplex problémamegoldás szempontjából [4].

Többlépcsős képzési folyamat

A DeepSeek R1 képzése több szakaszra oszlik:

1. hidegindítási szakasz: A modell egy kis mennyiségű, kiváló minőségű, felügyelt adatokkal kezdődik, amelyeket elődje, a DeepSeek R1-Zero összegyűjtött. Ez a fázis segít enyhíteni olyan kérdéseket, mint például a rossz olvashatóság és a nyelvkeverés, amelyeket a korábbi modellekben megfigyeltünk [1] [2].

2. érvelés-orientált RL: A hidegindítás után a modell kiterjedt érvelés-orientált RL edzésen megy keresztül. Ez a fázis a képességek fejlesztésére összpontosít olyan domainekben, mint a kódolás, a matematika és a logika, ahol egyértelmű megoldásokat lehet meghatározni a jutalmazási szabályok alapján [3] [4].

3. A finomhangolás új adatokkal: A kezdeti RL-képzés után az új felügyelt adatokat az RL ellenőrző ponton alapuló elutasító mintavétel révén generálják. Ezeket az adatokat ezután felhasználják a további finomhangoláshoz, lehetővé téve a modellnek, hogy finomítsa érvelési képességeit a különféle feladatok között [1] [2].

Teljesítmény eredményei

Ennek a szigorú edzési folyamatnak az eredménye egy olyan modell, amely olyan teljesítményszintet ér el, amely összehasonlítható a vezető modellekkel, mint például az OpenAi O1-1217 az érvelési feladatokkal. Például a DeepSeek R1 szignifikáns javulást mutatott a referenciaértékekben, az átadási arányok 15,6% -ról 71% -ra növekedtek az AIME 2024 feladatoknál, bemutatva annak fokozott érvelési képességeit [1] [2].

Összefoglalva: a DeepSeek R1 megerősítési tanulási megközelítése nemcsak a független érvelést elősegíti, hanem javítja a problémamegoldó hatékonyságot is azáltal, hogy minimalizálja a kiterjedt felügyelt adatkészletekre való támaszkodást. Ez egy hatékony eszközként helyezkedik el a nagy nyelvi modellek tájában.