对于GPT-4.5，OpenAI开发了新的可扩展对齐技术，该技术可以使用较小模型的数据来训练较大，更强大的模型。这些技术旨在提高模型理解人类需求和意图的能力，从而增强其可接受性，细微差别和自然对话能力。
###密钥对准技术
1。可扩展的对准：这种方法涉及使用较小的模型为较大模型生成高质量的训练数据。此方法加快了训练过程，并提高了模型遵循细微的说明的能力。但是，它也引入了较小模型中存在放大偏差或错误的风险[4] [5]。
2。传统方法的组合：GPT-4.5是使用新的监督技术以及从人类反馈(RLHF)等传统方法的组合以及传统方法培训的。 SFT涉及从人体标记的例子中学习，这是有效的，但可能很慢又昂贵。 RLHF根据人类的偏好对输出进行排名，这有时会导致过度拟合，从而使AI过于谨慎或富有创造力[4] [5] [7]。
3.增强对人类需求的理解：新的一致技术着重于教导模型对人类需求和意图有更深入的了解。这至关重要，因为这些模型解决了更复杂的问题并以更细微的方式与用户互动[1] [3] [5]。
###新技术的影响
GPT-4.5中的新对准技术已取得了一些改进：
- 自然互动：内部测试人员报告说GPT-4.5感觉更自然，更直观，尤其是在处理情感充满电的查询时。它可以提供建议，散布挫败感，或者只是根据需要聆听用户[1] [3]。
- 审美直觉和创造力：模型显示出更强的美学直觉和创造力，使其对于创意写作和设计等任务特别有用[1] [3]。
- 幻觉减少：GPT-4.5由于无监督学习的进步而显示出更少的幻觉，这提高了其世界模型的准确性和关联思维[5] [6]。
总体而言，这些技术旨在使GPT-4.5更加响应，高效且与用户意图保持一致，同时还解决与扩展大语言模型相关的一些挑战。
引用：
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-hores-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-5-orion-ai-model-reare
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/