Voor GPT-4.5 ontwikkelde OpenAI nieuwe, schaalbare uitlijningstechnieken die de training van grotere en krachtigere modellen mogelijk maken met behulp van gegevens die zijn afgeleid van kleinere modellen. Deze technieken zijn ontworpen om het vermogen van het model om de menselijke behoeften en intentie te begrijpen, te verbeteren, waardoor de stuurbaarheid, nuance en natuurlijke gespreksmogelijkheden worden verbeterd.
Sleuteluitlijningstechnieken
1. Schaalbare uitlijning: deze aanpak omvat het gebruik van kleinere modellen om trainingsgegevens van hoge kwaliteit te genereren voor grotere modellen. Deze methode versnelt het trainingsproces en verbetert het vermogen van het model om genuanceerde instructies te volgen. Het introduceert echter ook het risico op het versterken van vooroordelen of fouten die aanwezig zijn in de kleinere modellen [4] [5].
2. Combinatie van traditionele methoden: GPT-4.5 werd getraind met behulp van een combinatie van nieuwe supervisietechnieken, samen met traditionele methoden zoals begeleide verfijning (SFT) en versterking leren van menselijke feedback (RLHF). SFT omvat leren van door mensen gelabelde voorbeelden, die effectief zijn maar langzaam en duur kunnen zijn. RLHF rangschikt output op basis van menselijke voorkeuren, wat soms kan leiden tot overfitting, waardoor de AI overdreven voorzichtig of minder creatief is [4] [5] [7].
3. Verbeterd begrip van menselijke behoeften: de nieuwe uitlijningstechnieken richten zich op het leren van het model een beter begrip van de menselijke behoeften en intentie. Dit is cruciaal omdat de modellen complexere problemen oplossen en op meer genuanceerde manieren met gebruikers interageren [1] [3] [5].
Impact van nieuwe technieken
De nieuwe uitlijningstechnieken in GPT-4.5 hebben geresulteerd in verschillende verbeteringen:
- Natuurlijke interactie: interne testers melden dat GPT-4.5 meer natuurlijk en intuïtiever aanvoelt, vooral bij het omgaan met emotioneel geladen vragen. Het kan advies bieden, diffuse frustratie of gewoon luisteren naar de gebruiker indien nodig [1] [3].
- Esthetische intuïtie en creativiteit: het model toont een sterkere esthetische intuïtie en creativiteit, waardoor het bijzonder nuttig is voor taken zoals creatief schrijven en ontwerp [1] [3].
- Verminderde hallucinaties: GPT-4.5 vertoont minder hallucinaties als gevolg van vooruitgang in zonder toezicht leren, wat de nauwkeurigheid van het wereldmodel en het associatief denken verbetert [5] [6].
Over het algemeen zijn deze technieken bedoeld om GPT-4.5 responsiever, efficiënter en afgestemd te maken op de intentie van de gebruikers, terwijl ze ook enkele van de uitdagingen aanpakken die verband houden met het schalen van grote taalmodellen.
Citaten:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good- this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-lit
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/