Za GPT-4.5 je OpenAI razvil nove, razširljive tehnike poravnave, ki omogočajo usposabljanje večjih in zmogljivejših modelov z uporabo podatkov, pridobljenih iz manjših modelov. Te tehnike so zasnovane tako, da izboljšajo sposobnost modela za razumevanje človekovih potreb in namere, izboljšanje njegove krmilnosti, nianse in zmogljivosti naravnih pogovorov.
Ključne tehnike poravnave
1. razširljiva poravnava: Ta pristop vključuje uporabo manjših modelov za ustvarjanje kakovostnih podatkov o usposabljanju za večje modele. Ta metoda pospešuje postopek usposabljanja in izboljša sposobnost modela, da sledi niansiranim navodilom. Vendar pa uvaja tudi tveganje za povečanje pristranskosti ali napak, ki so prisotne v manjših modelih [4] [5].
2. Kombinacija tradicionalnih metod: GPT-4.5 je bila usposobljena s kombinacijo novih tehnik nadzora, skupaj s tradicionalnimi metodami, kot so nadzorovano natančno nastavitev (SFT) in učenje okrepitve iz človeških povratnih informacij (RLHF). SFT vključuje učenje iz primerov, označenih s človekom, kar je učinkovito, vendar je lahko počasno in drago. RLHF uvršča rezultate, ki temeljijo na človeških željah, kar lahko včasih privede do prekomerne opreme, zaradi česar je AI preveč previden ali manj ustvarjalen [4] [5] [7].
3. Izboljšano razumevanje človeških potreb: nove tehnike poravnave se osredotočajo na poučevanje modela večje razumevanje človekovih potreb in namere. To je ključnega pomena, saj modeli rešujejo bolj zapletene težave in z uporabniki komunicirajo na bolj zatemnjene načine [1] [3] [5].
Vpliv novih tehnik
Nove tehnike poravnave v GPT-4.5 so povzročile več izboljšav:
- Naravna interakcija: Notranji preizkuševalci poročajo, da se GPT-4.5 počuti bolj naravno in intuitivno, zlasti pri ravnanju s čustveno nabitimi poizvedbami. Lahko ponudi nasvete, razprši frustracije ali po potrebi preprosto posluša uporabnika [1] [3].
- Estetska intuicija in ustvarjalnost: Model prikazuje močnejšo estetsko intuicijo in ustvarjalnost, zaradi česar je še posebej uporabna za naloge, kot sta ustvarjalno pisanje in oblikovanje [1] [3].
- Zmanjšane halucinacije: GPT-4.5 ima manj halucinacij zaradi napredka v nenadzorovanem učenju, kar izboljšuje njegovo natančnost svetovnega modela in asociativno razmišljanje [5] [6].
Na splošno so te tehnike namenjene, da GPT-4.5 postane bolj odziven, učinkovit in usklajen z uporabniškim namenom, hkrati pa se spopada z nekaterimi izzivi, povezanimi z skaliranjem velikih jezikovnih modelov.
Navedbe:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681V2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model -is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-rease
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/