Pour GPT-4.5, OpenAI a développé de nouvelles techniques d'alignement évolutives qui permettent la formation de modèles plus grands et plus puissants à l'aide de données dérivées de modèles plus petits. Ces techniques sont conçues pour améliorer la capacité du modèle à comprendre les besoins humains et l'intention, améliorant ses capacités de direction, de nuances et de conversation naturelle.
Techniques d'alignement clés
1. Alignement évolutif: cette approche consiste à utiliser des modèles plus petits pour générer des données d'entraînement de haute qualité pour des modèles plus grands. Cette méthode accélère le processus de formation et améliore la capacité du modèle à suivre les instructions nuancées. Cependant, il introduit également le risque d'amplification des biais ou des erreurs présents dans les modèles plus petits [4] [5].
2. Combinaison de méthodes traditionnelles: GPT-4.5 a été formé en utilisant une combinaison de nouvelles techniques de supervision ainsi que des méthodes traditionnelles telles que le réglage fin supervisé (SFT) et l'apprentissage du renforcement de la rétroaction humaine (RLHF). La SFT implique l'apprentissage des exemples marqués par l'homme, ce qui est efficace mais peut être lent et coûteux. RLHF classe les résultats en fonction des préférences humaines, ce qui peut parfois conduire à un sur-ajustement, ce qui rend l'IA trop prudent ou moins créatif [4] [5] [7].
3. Compréhension améliorée des besoins humains: les nouvelles techniques d'alignement se concentrent sur l'enseignement au modèle une meilleure compréhension des besoins et de l'intention humains. Ceci est crucial car les modèles résolvent des problèmes plus complexes et interagissent avec les utilisateurs de manière plus nuancée [1] [3] [5].
Impact des nouvelles techniques
Les nouvelles techniques d'alignement dans GPT-4.5 ont entraîné plusieurs améliorations:
- Interaction naturelle: les testeurs internes rapportent que le GPT-4.5 se sent plus naturel et intuitif, en particulier dans la manipulation des requêtes chargées émotionnellement. Il peut offrir des conseils, diffuser la frustration ou simplement écouter l'utilisateur au besoin [1] [3].
- Intuition et créativité esthétique: le modèle montre une intuition et une créativité esthétiques plus fortes, ce qui le rend particulièrement utile pour des tâches comme l'écriture créative et le design [1] [3].
- Hallucinations réduites: GPT-4.5 présente moins d'hallucinations en raison des progrès de l'apprentissage non supervisé, ce qui améliore sa précision du modèle mondial et sa pensée associative [5] [6].
Dans l'ensemble, ces techniques visent à rendre le GPT-4.5 plus réactif, efficace et aligné avec l'intention des utilisateurs, tout en abordant certains des défis associés à la mise à l'échelle de modèles de langage à grande échelle.
Citations:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-o/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/