Для GPT-4.5 OpenAI розробив нові, масштабовані методи вирівнювання, які дозволяють підготовку більших і потужніших моделей, використовуючи дані, отримані з менших моделей. Ці методи призначені для покращення здатності моделі розуміти людські потреби та наміри, підвищення її керованості, нюансів та природних можливостей розмови.
методи вирівнювання
1. Масштабоване вирівнювання: Цей підхід передбачає використання менших моделей для генерування високоякісних даних для тренувань для великих моделей. Цей метод прискорює навчальний процес та покращує здатність моделі дотримуватися нюансових інструкцій. Однак він також вводить ризик посилення зміщення або помилок, присутніх у менших моделях [4] [5].
2. Поєднання традиційних методів: GPT-4.5 навчався з використанням комбінації нових методів нагляду разом із традиційними методами, такими як контрольована тонка настройка (SFT) та підкріплення з відгуків людини (RLHF). SFT передбачає навчання з мітки людини, що є ефективним, але може бути повільним і дорогим. RLHF займає результати на основі людських уподобань, що іноді може призвести до надмірного пристосування, роблячи AI надмірно обережним або менш креативним [4] [5] [7].
3. Посилення розуміння людських потреб: нові методи вирівнювання зосереджуються на навчанні моделі більшого розуміння потреб та намірів людини. Це має вирішальне значення, оскільки моделі вирішують більш складні проблеми та взаємодіють з користувачами більш нюансованими способами [1] [3] [5].
Вплив нових методик
Нові методи вирівнювання в GPT-4.5 призвели до декількох вдосконалень:
- Природна взаємодія: Внутрішні тестери повідомляють, що GPT-4.5 відчуває себе більш природним та інтуїтивним, особливо в обробці емоційно заряджених запитів. Він може запропонувати поради, розповсюдження розчарування або просто слухати користувача за потребою [1] [3].
- Естетична інтуїція та творчість: Модель демонструє сильнішу естетичну інтуїцію та творчість, що робить її особливо корисною для таких завдань, як творче письмо та дизайн [1] [3].
- Зниження галюцинацій: GPT-4.5 демонструє менше галюцинацій через просування в непідробленому навчанні, що покращує його точність світової моделі та асоціативне мислення [5] [6].
В цілому ці методи мають на меті зробити GPT-4.5 більш чуйними, ефективними та узгодженими з наміром користувача, а також вирішувати деякі проблеми, пов'язані з масштабуванням великих мовних моделей.
Цитати:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/