Temperatūros parametras tokiuose kalbų modeliuose kaip „Deepseek-R1“ pirmiausia naudojamas modelio sukuriamo išvesties atsitiktinumui valdyti. Tai daro įtaką modelio tendencijai kurti naujus ar įvairius atsakymus, o ne laikytis labiausiai tikėtinų ar pasikartojančių rezultatų. Atsižvelgiant į „Deepseek-R1“, kuris naudoja grupės santykinės politikos optimizavimo (GRPO) armatūros mokymosi sistemą, temperatūros parametras vaidina lemiamą vaidmenį užtikrinant, kad modelis sukuria nuoseklų ir skirtingą rezultatą mokymo ir bandymo etapuose.
sąveika su GRPO
GRPO yra naujas požiūris, kuris pašalina atskiro kritiko modelio poreikį, užuot naudojantis iš anksto nustatytas taisykles, tokias kaip darna ir sklandumas, kad būtų galima įvertinti modelio išvestis keliais raundais. Šios taisyklės yra skirtos fiksuoti modelius, kurie paprastai turi prasmę, pavyzdžiui, ar atsakymas yra nuoseklus, ar tinkamo formatu [1] [3]. Nors GRPO daugiausia dėmesio skiria modelio našumo optimizavimui, remiantis šiomis taisyklėmis, temperatūros parametras padeda išlaikyti pusiausvyrą tarp darnos ir įvairovės išėjime.
Temperatūros vaidmuo „DeepSeeek-R1“
1. Užkirsti kelią pasikartojantiems išėjimams: Nustatę temperatūrą tam tikrame diapazone (nuo 0,5 iki 0,7, su 0,6 rekomenduojama), „DeepSeek-R1“ gali išvengti pasikartojančių ar nenuoseklių išėjimų generavimo. Tai ypač svarbu naudojant GRPO, nes modelis turi pateikti įvairius, tačiau nuoseklius atsakymus, kad būtų galima efektyviai mokytis iš iš anksto nustatytų taisyklių [2] [5].
2. Suderinimo stiprinimas: gerai suderinta temperatūra užtikrina, kad modelio išėjimai yra ne tik įvairūs, bet ir darni. Tai suderina su GRPO tikslais skatinti modelio reakcijų darną ir sklandumą ir taip padidinti jo samprotavimo galimybes [1] [3].
3. Našumo optimizavimas: Lyginamojo analizės ir bandymo metu optimalios temperatūros išlaikymas padeda tiksliai įvertinti modelio našumą. Atlikdami kelis bandymus ir įvertindami rezultatus, vartotojai gali geriau suprasti, kaip temperatūra sąveikauja su GRPO, kad pagerintų bendrą modelio pagrindimo galimybes [5].
Apibendrinant galima pasakyti, kad nors temperatūros parametras ir GRPO tarnauja skirtingais tikslais „Deepseek-R1“ modelyje, jie papildo vienas kitą užtikrindami, kad modelis sukuria įvairius, nuoseklius ir gerai struktūruotus išėjimus. Ši sinergija yra labai svarbi norint optimizuoti modelio atlikimą atliekant samprotavimo užduotis, tokias kaip matematika ir kodavimas, kai tiek įvairovė, tiek darnos yra būtinos norint pasiekti aukštus balus ant etalonų [1] [3] [5].
Citatos:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-use-it-it
[2] https://www.reddit.com/r/localllama/comments/1i81ev6/deepseek_added_recommandations_for_r1_local_use/
[3] https://www.linkedin.com/pulse/deepseek-r1-reinformation-learning-llm-group-relative-mittul-iwari-c8gmf
[4] https://iaee.substack.com/p/deepseek-r1-intuityviai-and-exhustly
[5] https://build.nvidia.com/deepseek-ai/deepseek-r1/modelcard
[6] https://blog.ovhcloud.com/deep-dive-into-deepseek-r1-part-1/
[7] https://arxiv.org/html/2501.12948v1
[8] https://huggingface.co/deepseek-ai/deepseek-r1