DeepSeek formulas ģenerēšanai un matemātiskai argumentācijai izmanto dažādus uzlabotus mašīnmācīšanās algoritmus, īpaši tādos modeļos kā DeepSeek R1. Šeit ir detalizēts pārskats par izmantotajām īpašajām metodēm:
1. Pārdomu ķēdes (gultiņa) uzvedne: DeepSeek R1 piesaista ilgstošas domu ķēdes, lai uzlabotu matemātisko spriešanu. Tas ietver pamudinājumu strukturēšanu tādā veidā, kas virza modeli, izmantojot soli pa solim spriešanas procesiem, līdzīgi kā tas, kā cilvēki risina sarežģītas problēmas [2]. Ģenerējot sintētisko apmācības datus, pamatojoties uz šīm COT uzvednēm, DeepSeek R1 var uzlabot tā spēju efektīvāk atrisināt matemātiskās problēmas nekā lielākus modeļus.
2. Aukstā sākuma precizēšana: Sākotnēji DeepSeek R1 iziet aukstuma sākuma precizēšanu, izmantojot kompaktu datu kopu, kurā ir soli pa solim argumentācija. Šis sākotnējais posms nosaka stabilu pamatu modeļa spriešanas iespējām [6] [8]. Aukstā starta datu izmantošana palīdz izveidot strukturētu pieeju problēmu risināšanai.
3. Armatūras mācīšanās (RL): Pēc sākotnējās precizēšanas DeepSeek R1 izmanto tīru pastiprināšanas mācīšanos, lai uzlabotu tās spriešanas prasmes. Šis process ietver automātisku paraugu atbilžu vērtēšanu, lai pamudinātu modeli par vēlamo izturēšanos, piemēram, matemātisko problēmu soli pa solim risinājumiem [7] [8]. RL ir izšķiroša nozīme, lai izstrādātu modeļa spēju pamatot, nepaļaujoties uz marķētajiem datiem.
4. Noraidīšanas paraugu ņemšana un uzraudzīta precizēšana: gandrīz RL procesa konverģencei DeepSeek R1 izmanto noraidīšanas paraugu ņemšanu, lai ģenerētu sintētiskos datus. Pēc tam šie sintētiskie dati tiek apvienoti ar uzraudzītajiem dažādu jomu datiem, lai vēl vairāk uzlabotu modeļa zināšanas un precizitāti [8]. Šis solis nodrošina, ka modelis mācās gan no augstas kvalitātes rezultātiem, gan ar daudzveidīgām jomām specifiskām zināšanām.
5. Grupas relatīvās politikas optimizācija (GRPO): DeepSeek ir izstrādājis GRPO, jaunu algoritmu, kas paredzēts, lai pastiprinājums būtu efektīvāks. GRPO tiek izmantots, lai optimizētu apmācības procesu, ļaujot modelim labi darboties dažādos etalonos [7]. Kaut arī GRPO nav īpaši detalizēts formulas ģenerēšanai, tas veicina DeepSeek apmācības procesu vispārējo efektivitāti.
6. Daudzpakāpju apmācības process: DeepSEEK R1 pieņemtā daudzpakāpju apmācības pieeja ietver dažādu precizēšanas un pastiprināšanas mācīšanās posmu atkārtošanos. Katrs posms balstās uz iepriekšējo, nodrošinot, ka modelis attīsta stabilas spriešanas iespējas, saglabājot lasāmību un saskaņotību [6] [8]. Šī strukturētā pieeja ir atslēga, lai sasniegtu augstas veiktspējas matemātiskās spriešanas uzdevumos.
Rezumējot, DeepSeek formulas ģenerēšanas iespējas atbalsta uzlabotu NLP metožu, pastiprināšanas mācību stratēģiju un inovatīvu algoritmu, piemēram, GRPO, apvienojums. Šīs metodes ļauj DeepSEEK modeļiem izcelt matemātisko spriešanu un problēmu risināšanas uzdevumus.
Atsauces:
[1.]
[2] https://www.youtube.com/watch?v=pabqg33surg
[3] https://planetbanatt.net/articles/deepseek.html
[4] https://martinfowler.com/articles/deepseek-papers.html
[5] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models
[6] https://www.reddit.com/r/singularity/comments/1i9lkbh/deepseekr1_how_did_they_make_an_openailevel/
.
[8] https://www.vellum.ai/blog/the-training-of-depseek--and-ways-to-use-it