GPT-4.5 jaoks töötas OpenAi välja uued, skaleeritavad joondamistehnikad, mis võimaldavad suuremate ja võimsamate mudelite koolitamist, kasutades väiksematest mudelitest saadud andmeid. Need tehnikad on loodud selleks, et parandada mudeli võimet mõista inimeste vajadusi ja kavatsusi, parandades selle juhtimis-, nüansi- ja loomulikke vestlusvõimalusi.
Võtme joondamise tehnikad
1. skaleeritav joondamine: see lähenemisviis hõlmab väiksemate mudelite kasutamist kvaliteetsete treeningandmete genereerimiseks suuremate mudelite jaoks. See meetod kiirendab treeningprotsessi ja parandab mudeli võimet järgida nüansseeritud juhiseid. Kuid see toob kaasa ka väiksemates mudelites esinevate eelarvamuste või vigade võimendamise riski [4] [5].
2. Traditsiooniliste meetodite kombinatsioon: GPT-4.5 koolitati uute järelevalvetehnikate kombinatsiooni abil koos traditsiooniliste meetoditega, nagu juhendatud peenhäälestamine (SFT) ja tugevdusõpe inimese tagasisidest (RLHF). SFT hõlmab õppimist inimese märgistatud näidetest, mis on tõhus, kuid võib olla aeglane ja kallis. RLHF järjestab väljundid inimlike eelistuste põhjal, mis võib mõnikord põhjustada ületahutamist, muutes AI liiga ettevaatlikuks või vähem loominguliseks [4] [5] [7].
3. Inimeste vajaduste täiustatud mõistmine: uued joondamistehnikad keskenduvad mudeli õpetamisele inimvajaduste ja kavatsuste paremaks mõistmiseks. See on ülioluline, kuna mudelid lahendavad keerukamaid probleeme ja suhtlevad kasutajatega nüansirikkamal viisil [1] [3] [5].
uute tehnikate mõju
Uued joondamistehnikad GPT-4,5-s on toonud kaasa mitmeid parandusi:
- Looduslik interaktsioon: sisemistestijad teatavad, et GPT-4.5 tunneb end loomulikumalt ja intuitiivsemalt, eriti emotsionaalselt laetud päringute käsitlemisel. See võib pakkuda nõuandeid, hajuvat pettumust või lihtsalt kuulata kasutajat vastavalt vajadusele [1] [3].
- esteetiline intuitsioon ja loovus: mudel näitab tugevamat esteetilist intuitsiooni ja loovust, muutes selle eriti kasulikuks selliste ülesannete jaoks nagu loominguline kirjutamine ja disain [1] [3].
- Vähendatud hallutsinatsioonid: GPT-4,5-l on vähem hallutsinatsioone, kuna edusammud õppisid, mis parandab selle maailmamudeli täpsust ja assotsiatiivset mõtlemist [5] [6].
Üldiselt on nende tehnikate eesmärk muuta GPT-4,5 reageerivamaks, tõhusamaks ja vastavusse kasutajate kavatsusega, käsitledes samal ajal ka mõnda suurte keelemudelite skaleerimisega seotud väljakutseid.
Tsitaadid:
]
[2] https://arxiv.org/html/2502.11681v2
]
]
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
]
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/