GPT-4.5 включает в себя новые, масштабируемые методы выравнивания, предназначенные для улучшения сотрудничества человека путем улучшения понимания модели потребностей и намерений человека. Эти методы позволяют обучать более крупные и более мощные модели с использованием данных, полученных из более мелких моделей, что имеет решающее значение, поскольку модели ИИ становятся все более сложными и решают более широкие проблемы [1] [3] [7].
Улучшения ключей
1. Рулезабильность: новые методы выравнивания повышают управляемость GPT-4.5, позволяя пользователям более эффективно направлять модель к желаемым результатам. Это особенно важно для задач, требующих точного контроля над ответами модели [1] [3].
2. Понимание нюанса: GPT-4.5 демонстрирует лучшее понимание нюансов, позволяя ему более эффективно справляться с сложными и тонкими аспектами человеческого общения. Это улучшение жизненно важно для задач, которые требуют эмпатии и эмоционального интеллекта [1] [3].
3. Естественный разговор: способность модели участвовать в естественном разговоре была значительно улучшена. Теперь он может реагировать более интуитивно и эмпатически, заставляя взаимодействия чувствовать себя более похожими на человека. Это полезно для таких приложений, как обслуживание клиентов, консультирование и совместные творческие проекты [1] [3] [7].
Процесс обучения
GPT-4.5 был разработан с использованием комбинации традиционных методов, таких как контролируемая тонкая настройка (SFT) и подкрепление, обучение от обратной связи человека (RLHF), аналогичные тем, которые используются для GPT-4O. Модель была предварительно обучена и после обучения на различных наборах данных, включая общедоступные данные, проприетарные данные из партнерских отношений и пользовательские наборы данных, разработанные на месте. Эти разнообразные учебные данные способствуют его надежным разговорным возможностям и широким мировым знаниям [1] [3].
Эмоциональный интеллект
Модель демонстрирует усиление эмоционального интеллекта, позволяя ей выявлять и реагировать соответствующим образом социальные сигналы. Это делает взаимодействия более естественными и сочувствующими, что особенно полезно для применений, требующих нюансированного общения [7].
В целом, новые методы выравнивания в GPT-4.5 стремятся создать более совместный и интуитивно понятный инструмент ИИ, который может лучше соответствовать человеческим намерениям и потребностям, что делает его подходящим для широкого спектра приложений.
Цитаты:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://arxiv.org/html/2502.13775v1
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[4] https://community.openai.com/t/how-to-improve-gpt-4-api-tput-length-and-ructure/1025132
[5] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[6] https://proceedings.neurips.cc/paper_files/paper/2024/file/a51a74b2d71387dc71cc29181b5519bb-paper-conference.pdf
[7] https://topsteads.com/openai-release-gpt-4-5/
[8] https://arxiv.org/html/2408.06837v1