GPT-4.5 Openai izstrādāja jaunas, mērogojamas izlīdzināšanas metodes, kas ļauj apmācīt lielākus un jaudīgākus modeļus, izmantojot datus, kas iegūti no mazākiem modeļiem. Šīs metodes ir izstrādātas, lai uzlabotu modeļa spēju izprast cilvēku vajadzības un nodomu, uzlabojot tā vadāmību, nianses un dabiskās sarunu iespējas.
atslēgu izlīdzināšanas paņēmieni
1. Mērogojama izlīdzināšana: šī pieeja ietver mazāku modeļu izmantošanu, lai iegūtu augstas kvalitātes apmācības datus lielākiem modeļiem. Šī metode paātrina apmācības procesu un uzlabo modeļa spēju ievērot niansētas instrukcijas. Tomēr tas arī ievieš risku pastiprināt aizspriedumus vai kļūdas, kas atrodas mazākos modeļos [4] [5].
2. Tradicionālo metožu kombinācija: GPT-4.5 tika apmācīts, izmantojot jaunu uzraudzības metožu kombināciju, kā arī tradicionālās metodes, piemēram, uzraudzīta precizēšana (SFT) un pastiprināšanas mācīšanās no cilvēku atsauksmēm (RLHF). SFT ietver mācīšanos no cilvēkiem ar cilvēkiem marķētiem piemēriem, kas ir efektīvi, bet var būt lēni un dārgi. RLHF rindā rindā izejas, pamatojoties uz cilvēku vēlmēm, kas dažreiz var izraisīt pārmērīgu aprīkojumu, padarot AI pārāk piesardzīgu vai mazāk radošu [4] [5] [7].
3. Paaugstināta izpratne par cilvēku vajadzībām: jaunās izlīdzināšanas metodes ir vērstas uz modeļa mācīšanu labāk izprast cilvēku vajadzības un nodomu. Tas ir ļoti svarīgi, jo modeļi risina sarežģītākas problēmas un mijiedarbojas ar lietotājiem niansētākā veidā [1] [3] [5].
Jauno paņēmienu ietekme
Jaunās izlīdzināšanas metodes GPT-4.5 ir izraisījušas vairākus uzlabojumus:
- Dabiska mijiedarbība: iekšējie testētāji ziņo, ka GPT-4.5 jūtas dabiskāks un intuitīvāks, it īpaši, rīkojoties ar emocionāli uzlādētiem jautājumiem. Tas var piedāvāt padomus, izkliedētu neapmierinātību vai vienkārši klausīties lietotāju pēc vajadzības [1] [3].
- Estētiskā intuīcija un radošums: modelis parāda spēcīgāku estētisko intuīciju un radošumu, padarot to īpaši noderīgu tādiem uzdevumiem kā radoša rakstīšana un dizains [1] [3].
- Samazinātas halucinācijas: GPT-4.5 uzrāda mazāk halucināciju, ņemot vērā sasniegumus bez uzraudzības, kas uzlabo tā pasaules modeļa precizitāti un asociatīvo domāšanu [5] [6].
Kopumā šo metožu mērķis ir padarīt GPT-4.5 atsaucīgāku, efektīvāku un saskaņotu ar lietotāja nodomu, vienlaikus risinot arī dažus izaicinājumus, kas saistīti ar lielo valodu modeļu mērogošanu.
Atsauces:
[1.]
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-dood-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/