GPT-4.5, „Openai“ sukūrė naujus, keičiamo mastelio suderinimo metodus, leidžiančius mokyti didesnius ir galingesnius modelius, naudojant duomenis, gautus iš mažesnių modelių. Šie metodai yra skirti pagerinti modelio sugebėjimą suprasti žmogaus poreikius ir ketinimus, padidinant jo valdymo, niuansų ir natūralių pokalbių galimybes.
Pagrindinės derinimo būdai
1. Mastelio suderinimas: Šis metodas apima mažesnių modelių naudojimą didesnių modelių aukštos kokybės mokymo duomenims generuoti. Šis metodas pagreitina mokymo procesą ir pagerina modelio sugebėjimą vykdyti niuansuotas instrukcijas. Tačiau jame taip pat kyla rizika sustiprėti mažesniuose modeliuose esančias paklaidas ar paklaidas [4] [5].
2. Tradicinių metodų derinys: GPT-4.5 buvo mokomas naudojant naujų priežiūros metodų derinį kartu su tradiciniais metodais, tokiais kaip prižiūrimas tikslinimas (SFT) ir armatūros mokymasis iš žmonių atsiliepimų (RLHF). SFT apima mokymąsi iš žmogaus pažymėtų pavyzdžių, kurie yra veiksmingi, tačiau gali būti lėti ir brangūs. RLHF reitinguoja rezultatus, pagrįstas žmogaus nuostatomis, kurios kartais gali sukelti perpildymą, todėl AI tampa pernelyg atsargūs ar mažiau kūrybingi [4] [5] [7].
3. Patobulintas žmogaus poreikių supratimas: Nauji derinimo būdai sutelkia dėmesį į modelio mokymą geresnį žmogaus poreikių ir ketinimų supratimą. Tai labai svarbu, nes modeliai išsprendžia sudėtingesnes problemas ir sąveikauja su vartotojais labiau niuansuotais būdais [1] [3] [5].
Naujų metodų poveikis
Nauji GPT-4.5 suderinimo būdai lėmė keletą patobulinimų:
- Natūrali sąveika: Vidiniai bandytojai praneša, kad GPT-4.5 jaučiasi natūralesnis ir intuityvesnis, ypač tvarkant emociškai įkrautus klausimus. Tai gali pasiūlyti patarimų, difuzinį nusivylimą arba tiesiog klausytis vartotojo prireikus [1] [3].
- Estetinė intuicija ir kūrybiškumas: modelis rodo stipresnę estetinę intuiciją ir kūrybiškumą, todėl jis yra ypač naudingas tokioms užduotims kaip kūrybinis rašymas ir dizainas [1] [3].
- Sumažėjusios haliucinacijos: GPT-4.5 rodo mažiau haliucinacijų dėl neperžiūpto mokymosi pažangos, o tai pagerina jo pasaulio modelio tikslumą ir asociatyvų mąstymą [5] [6].
Apskritai šiems metodams siekiama padaryti GPT-4.5 reagavimą, efektyvesnį ir suderintą su vartotojo ketinimais, tuo pačiu sprendžiant kai kuriuos iššūkius, susijusius su didelių kalbų modelių masteliu.
Citatos:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/