Pro GPT-4.5 vyvinul OpenAI nové, škálovatelné techniky vyrovnání, které umožňují školení větších a výkonnějších modelů pomocí dat odvozených z menších modelů. Tyto techniky jsou navrženy tak, aby zlepšily schopnost modelu porozumět lidským potřebám a záměru, zvyšovat jeho schopnost řídit, nuance a přirozené konverzační schopnosti.
Techniky klíčového zarovnání
1. škálovatelné zarovnání: Tento přístup zahrnuje použití menších modelů k generování vysoce kvalitních školení pro větší modely. Tato metoda urychluje proces tréninku a zlepšuje schopnost modelu dodržovat jemné pokyny. Představuje však také riziko zesílení zkreslení nebo chyb přítomných v menších modelech [4] [5].
2. kombinace tradičních metod: GPT-4.5 byla vyškolena pomocí kombinace nových technik dohledu spolu s tradičními metodami, jako je pod dohledem jemného doladění (SFT) a posílení učení z lidské zpětné vazby (RLHF). SFT zahrnuje učení z příkladů značených člověkem, které je účinné, ale může být pomalé a drahé. RLHF řadí výstupy založené na lidských preferencích, které někdy mohou vést k nadměrnému množství, takže AI je příliš opatrná nebo méně kreativní [4] [5] [7].
3. Zvýšené porozumění lidským potřebám: Nové techniky vyrovnání se zaměřují na výuku modelu většího porozumění lidským potřebám a záměru. To je zásadní, protože modely řeší složitější problémy a interagují s uživateli jemnějšími způsoby [1] [3] [5].
Dopad nových technik
Nové techniky vyrovnání v GPT-4.5 vedly k několika vylepšením:
- Přirozená interakce: Interní testeři uvádějí, že GPT-4.5 se cítí přirozenější a intuitivnější, zejména při řešení emocionálně nabitých dotazů. Může nabídnout radu, rozptýlit frustraci nebo jednoduše poslouchat uživatele podle potřeby [1] [3].
- Estetická intuice a kreativita: Model ukazuje silnější estetickou intuici a kreativitu, což je obzvláště užitečné pro úkoly, jako je kreativní psaní a design [1] [3].
- Snížené halucinace: GPT-4,5 vykazuje méně halucinací v důsledku pokroku v učení bez dozoru, což zlepšuje přesnost světa a asociativní myšlení [5] [6].
Celkově se tyto techniky zaměřují na to, aby bylo GPT-4,5 responzivnější, efektivnější a vyrovnané s úmyslem uživatele a zároveň se zabývat některými výzvami spojenými s škálováním modelů velkých jazyků.
Citace:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-4-5-heres-what-it-can-do/-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/