Für GPT-4,5 entwickelte OpenAI neue, skalierbare Ausrichtungstechniken, die das Training größerer und leistungsfähigerer Modelle unter Verwendung von Daten aus kleineren Modellen ermöglichen. Diese Techniken sollen die Fähigkeit des Modells verbessern, menschliche Bedürfnisse und Absichten zu verstehen und ihre Fähigkeiten zu steuern, Nuancen und natürliche Konversationsfunktionen zu verbessern.
Schlüsselausrichtungstechniken
1. skalierbare Ausrichtung: Dieser Ansatz umfasst die Verwendung kleinerer Modelle, um hochwertige Trainingsdaten für größere Modelle zu generieren. Diese Methode beschleunigt den Trainingsprozess und verbessert die Fähigkeit des Modells, nuancierte Anweisungen zu befolgen. Es führt jedoch auch das Risiko ein, Verzerrungen oder Fehler in den kleineren Modellen zu verstärken [4] [5].
2. Kombination traditioneller Methoden: GPT-4,5 wurde unter Verwendung einer Kombination neuer Überwachungstechniken zusammen mit herkömmlichen Methoden wie beaufsichtigter Feinabstimmung (SFT) und Verstärkungslernen aus menschlichem Feedback (RLHF) trainiert. SFT beinhaltet das Erlernen von Beispielen mit Menschenmarkierungen, die effektiv sind, aber langsam und teuer sein können. RLHF -Rangleitungen, die auf menschlichen Vorlieben basieren, was manchmal zu Überanpassung führen kann, was die KI übermäßig vorsichtig oder weniger kreativ macht [4] [5] [7].
3.. Verbessertes Verständnis der menschlichen Bedürfnisse: Die neuen Ausrichtungstechniken konzentrieren sich darauf, dem Modell ein besseres Verständnis der menschlichen Bedürfnisse und der Absicht zu lehren. Dies ist entscheidend, da die Modelle komplexere Probleme lösen und auf nuanciertere Weise mit den Benutzern interagieren [1] [3] [5].
Auswirkungen neuer Techniken
Die neuen Alignment-Techniken in GPT-4,5 haben zu mehreren Verbesserungen geführt:
- Natürliche Interaktion: Interne Tester berichten, dass sich GPT-4,5 natürlicher und intuitiver anfühlt, insbesondere beim Umgang mit emotional aufgeladenen Fragen. Es kann Ratschläge, diffuse Frustration geben oder dem Benutzer nach Bedarf einfach zuhören [1] [3].
- Ästhetische Intuition und Kreativität: Das Modell zeigt eine stärkere ästhetische Intuition und Kreativität und macht es besonders nützlich für Aufgaben wie kreatives Schreiben und Design [1] [3].
- Reduzierte Halluzinationen: GPT-4,5 zeigt aufgrund von Fortschritten des unbeaufsichtigten Lernens weniger Halluzinationen, was die weltweite Modellgenauigkeit und das assoziative Denken verbessert [5] [6].
Insgesamt zielen diese Techniken darauf ab, GPT-4,5 reaktionsschneller, effizienter und mit der Benutzerabsicht ausgerichtet zu machen und gleichzeitig einige der Herausforderungen zu bewältigen, die mit der Skalierung von Großsprachmodellen verbunden sind.
Zitate:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-ishere-how-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.heverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/