Для GPT-4.5 OpenAI разработал новые, масштабируемые методы выравнивания, которые позволяют обучить более крупные и более мощные модели, используя данные, полученные из более мелких моделей. Эти методы предназначены для улучшения способности модели понимать потребности и намерения человека, повысить его управляемость, нюансы и естественные возможности разговора.
Методы выравнивания ключей
1. Масштабируемое выравнивание: этот подход включает в себя использование более мелких моделей для генерации высококачественных учебных данных для более крупных моделей. Этот метод ускоряет тренировочный процесс и улучшает способность модели следовать нюансированным инструкциям. Тем не менее, он также вводит риск усиления смещений или ошибок, присутствующих в более мелких моделях [4] [5].
2. Комбинация традиционных методов: GPT-4.5 была обучена с использованием комбинации новых методов наблюдения наряду с традиционными методами, такими как контролируемая тонкая настройка (SFT) и подкрепление обучения от обратной связи человека (RLHF). SFT включает в себя обучение на примерах, меченных человеком, что является эффективным, но может быть медленным и дорогим. RLHF оценивает результаты на основе человеческих предпочтений, которые иногда могут привести к переоснащению, что делает ИИ чрезмерно осторожным или менее креативным [4] [5] [7].
3. Улучшенное понимание потребностей человека: новые методы выравнивания сосредоточены на обучении модели большему пониманию потребностей и намерений человека. Это важно, поскольку модели решают более сложные проблемы и взаимодействуют с пользователями более нюансированными способами [1] [3] [5].
Влияние новых методов
Новые методы выравнивания в GPT-4.5 привели к нескольким улучшениям:
- Естественное взаимодействие: внутренние тестеры сообщают, что GPT-4.5 чувствует себя более естественным и интуитивно понятным, особенно в обработке эмоционально заряженных запросов. Он может предложить советы, рассеяние разочарования или просто слушать пользователя по мере необходимости [1] [3].
- Эстетическая интуиция и креативность: модель показывает более сильную эстетическую интуицию и творчество, что делает ее особенно полезным для таких задач, как творческое письмо и дизайн [1] [3].
- Снижение галлюцинаций: GPT-4.5 демонстрирует меньше галлюцинаций из-за достижений в неконтролируемом обучении, что повышает точность и ассоциативное мышление мировой модели [5] [6].
В целом, эти методы направлены на то, чтобы сделать GPT-4.5 более отзывчивыми, эффективными и выровненными с намерениями пользователя, а также решает некоторые проблемы, связанные с масштабированием крупных языковых моделей.
Цитаты:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/