GPT-4,5 wurde in verschiedenen Datensätzen geschult, einschließlich einer Mischung aus öffentlich verfügbaren Daten, proprietären Daten aus Datenpartnerschaften und benutzerdefinierten Datensätzen, die intern entwickelt wurden. Diese Datensätze tragen gemeinsam zu den robusten Konversationsfähigkeiten und dem Weltwissen des Modells bei. In den verfügbaren Informationen werden jedoch spezifische Details zu den genauen verwendeten Datensätzen nicht explizit erwähnt.
Der Trainingsprozess umfasste neue Überwachungstechniken in Kombination mit herkömmlichen Methoden wie beaufsichtigter Feinabstimmung (SFT) und Verstärkungslernen aus menschlichem Feedback (RLHF), ähnlich wie für GPT-4O [1] [3]. Die Entwicklung des Modells umfasste auch skalierbare Ausrichtungstechniken, bei denen kleinere Modelle qualitativ hochwertige Trainingsdaten für größere Modelle generieren, wodurch die Lenkbarkeit des Modells und das Verständnis der Nuance verbessert werden [7].
Die Datenverarbeitungspipeline von OpenAI umfasst eine strenge Filterung, um die Datenqualität aufrechtzuerhalten und potenzielle Risiken zu verringern. Sie verwenden fortgeschrittene Datenfilterprozesse, um die Verarbeitung persönlicher Informationen beim Training ihrer Modelle zu verringern. Darüber hinaus verwenden sie eine Kombination aus ihren Moderations -API- und Sicherheitsklassifikatoren, um die Verwendung von schädlichen oder sensiblen Inhalten zu verhindern [1].
Während die genauen Datensätze nicht detailliert sind, betont der Ansatz eine breite und vielfältige Datenfundament, um die Funktionen von GPT-4.5 bei Aufgaben wie Schreiben, Programmieren und Lösung praktischer Probleme mit weniger Halluzinationen [1] [3].
Zitate:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4-brings-the-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/ething-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-ishere-how-how-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1