DeepSeek-R1 anvender en forstærkende læring (RL)-af første strategi for markant at forbedre dens ræsonnementsfunktioner og skelne den fra traditionelle modeller, der er meget afhængige af overvåget finjustering (SFT). Denne innovative tilgang giver DeepSeek-R1 mulighed for at udvikle ræsonnementsevner gennem efterforskning og feedback snarere end allerede eksisterende data.
Nøglefunktioner i RL-første strategi
1. Uafhængig efterforskning af ræsonnement **
DeepSeek-R1 begynder udelukkende træning med forstærkningslæring og omgår den indledende SFT-fase. Dette gør det muligt for modellen at udforske og udvikle sine ræsonnementsfunktioner autonomt. RL-rammen incitamerer modellen til at deltage i selvverificering og refleksion, hvilket fører til generering af sammenhængende kæde-af-tanker (COT) -respons. Som et resultat kan DeepSeek-R1 tackle komplekse ræsonnementsopgaver uden at blive begrænset af et foruddefineret datasæt [2] [4].2. flertrins træningsproces **
For yderligere at forbedre dens ydeevne inkorporerer DeepSeek-R1 en flertrins træningsproces, der inkluderer en koldstart-fase med minimale overvågede data. Oprindeligt er modellen finjusteret ved hjælp af tusinder af COT-eksempler, før de gennemgår omfattende RL-træning. Denne kombination giver DeepSeek-R1 mulighed for at forfine sine ræsonnementsevner, mens de stadig drager fordel af en eller anden struktureret vejledning, hvilket i sidste ende opnår præstationsniveauer, der kan sammenlignes med førende modeller som Openais O1-1217 [1] [3].3. omkostningseffektivitet og tilgængelighed **
Den første første strategi øger ikke kun ræsonnementsfunktioner, men forbedrer også træningseffektiviteten. Ved at reducere afhængighed af store overvågede datasæt udvikles dybseek-R1 til en brøkdel af omkostningerne sammenlignet med traditionelle modeller. Dette gør avanceret AI -ræsonnement mere tilgængelig for startups og forskere, der muligvis ikke har ressourcerne til omfattende SFT [2] [4].4. Performance on ræsonnement benchmarks **
DeepSeek-R1 har vist bemærkelsesværdige forbedringer i ræsonnement benchmarks, med præstationsmetrikker, der viser betydelige gevinster efter tusinder af RL-iterationer. For eksempel steg dens pasningshastighed på specifikke ræsonnementsopgaver dramatisk fra 15,6% til 71% [1] [3]. Dette viser effektiviteten af RL-første tilgang til at dyrke robuste ræsonnementsevner.Sammenfattende repræsenterer DeepSeek-R1s RL-første strategi en betydelig udvikling i udviklingen af sprogmodeller. Ved at prioritere forstærkningslæring og integration af koldstart-data forbedrer det ikke kun ræsonnementsfunktioner, men tilbyder også et mere effektivt og omkostningseffektivt alternativ til traditionelle træningsmetoder.
Citater:
[1] https://arxiv.org/html/2501.12948v1
)
[3] https://huggingface.co/papers/2501.12948
[4] https://myedgetech.com/deepseek-r1-tr/
[5] https://arxiv.org/abs/2501.12948
[6] https://www.vellum.ai/blog/the-training- af-deepseek-r1-og-veje-til-brug-it
[7] https://github.com/deepseek-i/deepseek-r1/activity
[8] https://predibase.com/blog/deepseek-r1-self-forbedre-and-unseat-o1-with-reinforcement-learning