V prípade GPT-4.5 vyvinula OpenAI nové, škálovateľné techniky zarovnania, ktoré umožňujú školenie väčších a výkonnejších modelov pomocou údajov odvodených z menších modelov. Tieto techniky sú navrhnuté tak, aby zlepšili schopnosť modelu porozumieť ľudským potrebám a zámeru, zlepšovaní jeho riadenia, nuancie a prírodných konverzácií.
Techniky vyrovnania kľúčov
1. Škálovateľné zarovnanie: Tento prístup zahŕňa použitie menších modelov na generovanie vysoko kvalitných tréningových údajov pre väčšie modely. Táto metóda urýchľuje proces tréningu a zlepšuje schopnosť modelu dodržiavať pokyny na nuance. Predstavuje však aj riziko zosilnenia zaujatosti alebo chýb prítomných v menších modeloch [4] [5].
2. Kombinácia tradičných metód: GPT-4,5 sa vyškolila pomocou kombinácie nových techník dohľadu spolu s tradičnými metódami, ako sú pod dohľadom doladenia (SFT) a posilňovacia výučba od ľudskej spätnej väzby (RLHF). SFT zahŕňa učenie sa z príkladov označených človekom, ktoré sú efektívne, ale môžu byť pomalé a drahé. RLHF radí výstupy na základe ľudských preferencií, ktoré niekedy môžu viesť k nadmernému zariadeniu, takže AI je príliš opatrná alebo menej kreatívna [4] [5] [7].
3. Zvýšené porozumenie ľudských potrieb: Nové techniky zarovnania sa zameriavajú na výučbu modelu a lepšie porozumenie ľudským potrebám a zámeru. Je to rozhodujúce, pretože modely riešia zložitejšie problémy a interagujú s používateľmi v odtieňoch [1] [3] [5].
Vplyv nových techník
Nové techniky zarovnania v GPT-4,5 viedli k niekoľkým vylepšeniam:
- Prirodzená interakcia: Interní testery uvádzajú, že GPT-4,5 sa cíti prirodzenejšie a intuitívnejšie, najmä pri zaobchádzaní s emocionálne nabitými otázkami. Môže ponúkať rady, rozptýliť frustráciu alebo jednoducho počúvať používateľa podľa potreby [1] [3].
- Estetická intuícia a kreativita: Model ukazuje silnejšiu estetickú intuíciu a kreativitu, vďaka čomu je obzvlášť užitočná pre úlohy, ako je kreatívne písanie a dizajn [1] [3].
- Znížené halucinácie: GPT-4,5 vykazuje menej halucinácií v dôsledku pokroku v učení sa bez dozoru, čo zlepšuje presnosť svetového modelu a asociatívne myslenie [5] [6].
Celkovo sa tieto techniky zameriavajú na zvýšenie citlivejších, efektívnejších a zosúladených s úmyslom používateľa a zároveň riešiť niektoré výzvy spojené so škálovaním veľkých jazykových modelov.
Citácie:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-his-Model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-5-heres-hhat-it-t-can-----------5
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-orion-ai-model-rease
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc1184879/