GPT-4.5の場合、OpenAIは、小さなモデルから派生したデータを使用して、より大きくて強力なモデルのトレーニングを可能にする新しいスケーラブルなアライメント技術を開発しました。これらの手法は、人間のニーズと意図を理解するモデルの能力を向上させ、その操縦性、ニュアンス、および自然な会話能力を向上させるように設計されています。
###キーアライメント手法
1.スケーラブルアライメント：このアプローチでは、より小さなモデルを使用して、より大きなモデルの高品質のトレーニングデータを生成することが含まれます。この方法は、トレーニングプロセスをスピードアップし、微妙な指示に従うモデルの能力を向上させます。ただし、小さなモデルに存在するバイアスまたはエラーを増幅するリスクも導入します[4] [5]。
2。従来の方法の組み合わせ：GPT-4.5は、新しい監督技術の組み合わせと、監視された微調整(SFT)や人間のフィードバックからの補強学習(RLHF)などの従来の方法を使用して訓練されました。 SFTには、効果的であり、ゆっくりと高価な場合がありますが、人間の標識例から学習することが含まれます。 RLHFは、人間の好みに基づいて出力をランク付けします。これは、過剰適合につながり、AIが過度に慎重または創造的ではないことがあります[4] [5] [7]。
3。人間のニーズの強化された理解：新しいアライメント技術は、モデルに人間のニーズと意図をより深く理解することに焦点を当てています。これは、モデルがより複雑な問題を解決し、より微妙な方法でユーザーと対話するため、重要です[1] [3] [5]。
###新しいテクニックの影響
GPT-4.5の新しいアライメント手法により、いくつかの改善がもたらされました。
- 自然な相互作用：内部テスターは、特に感情的に充電されたクエリの処理において、GPT-4.5がより自然で直感的だと感じていると報告しています。アドバイスを提供したり、フラストレーションを拡散したり、必要に応じてユーザーの話を聞くこともできます[1] [3]。
- 美的直観と創造性：モデルは、より強い審美的な直観と創造性を示しており、創造的なライティングやデザイン[1] [3]などのタスクに特に役立ちます。
- 幻覚の減少：GPT-4.5は、監視されていない学習の進歩により幻覚が少なくなり、世界モデルの精度と連想思考が向上します[5] [6]。
全体として、これらの手法は、GPT-4.5がより応答性が高く、効率的であり、ユーザーの意図に合わせて、大規模な言語モデルのスケーリングに関連する課題のいくつかにも対処することを目的としています。
引用：
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-5-5-Orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/