GPT-4.5 включає нові, масштабовані методи вирівнювання, розроблені для покращення співпраці людини, вдосконалюючи розуміння моделі людських потреб та намірів. Ці методи дозволяють тренувати більші та потужніші моделі, що використовують дані, отримані з менших моделей, що має вирішальне значення, оскільки моделі AI стають все більш складними та вирішують більш широкі проблеми [1] [3] [7].
Ключові вдосконалення
1. Орієнтовність: нові методи вирівнювання посилюють керованість GPT-4.5, що дозволяє користувачам більш ефективно керувати моделлю до бажаних результатів. Це особливо важливо для завдань, що потребують точного контролю над відповідями моделі [1] [3].
2. Це вдосконалення є життєво важливим для завдань, які потребують емпатії та емоційного інтелекту [1] [3].
3. Природна розмова: Здатність моделі брати участь у природній розмові значно покращена. Тепер він може реагувати більш інтуїтивно та емпатично, змушуючи взаємодії відчувати себе більш схожими на людину. Це вигідно для таких додатків, як обслуговування клієнтів, консультування та спільні творчі проекти [1] [3] [7].
Навчальний процес
GPT-4.5 був розроблений з використанням комбінації традиційних методів, таких як контрольована тонка настройка (SFT) та підкріплення навчання з зворотного зв'язку людини (RLHF), подібно до тих, що використовуються для GPT-4O. Модель була заздалегідь підготовлена та навчана на різноманітних наборах даних, включаючи загальнодоступні дані, власні дані з партнерських відносин та спеціальні набори даних, розроблені власними. Ці різноманітні дані про навчання сприяють його надійним розмовним можливостям та широким світовим знанням [1] [3].
емоційний інтелект
Модель демонструє посилений емоційний інтелект, що дозволяє їй виявити та відповідати належним чином на соціальні підказки. Це робить взаємодію більш природними та співчутливими, що особливо корисно для додатків, що потребують нюансованого спілкування [7].
Загалом, нові методи вирівнювання в GPT-4.5 мають на меті створити більш спільний та інтуїтивний інструмент AI, який може краще узгодитися з людськими намірами та потребами, що робить його придатним для широкого спектру застосувань.
Цитати:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://arxiv.org/html/2502.13775v1
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-relases-chatgpt-4-5
[4] https://community.openai.com/t/how-to-improve-gpt-4-api-output-length-and-structure/1025132
[5] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[6] https://proceckes.neurips.cc/paper_files/paper/2024/file/a51a74b2d71387dc71cc29181b5519bb-paper-conference.pdf
[7] https://toppperads.com/openai-release-gpt-4-5/
[8] https://arxiv.org/html/2408.06837v1