Um die mehrsprachigen Fähigkeiten von GPT-4,5 zu bewerten, verwendete OpenAI mehrere Methoden:
1. Übersetzung von Testsätzen: OpenAI übersetzt den Testsatz des mehrsprachigen massiven Sprachverständnisses (MMLU) in 14 Sprachen mit professionellen menschlichen Übersetzern. Dieser Ansatz ermöglichte eine umfassende Einschätzung der Leistung von GPT-4,5 in mehreren Sprachen, einschließlich Arabisch, bengalisch, chinesisch (vereinfacht), Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Japanisch, Koreanisch, Portugiesisch (Brasilien), Spanisch, Swahili und Yoruba [1].
2. Evaluierung: Das Modell wurde in einer Null-Shot-Einstellung getestet, dh es wurde nicht mit zusätzlichen Trainingsdaten oder Feinabstimmungen für bestimmte Sprachen versorgt. Diese Methode bewertet die Fähigkeit des Modells, ohne explizites Training über Sprachen hinweg zu verallgemeinern [1].
3. Vergleich mit früheren Modellen: Die Leistung von GPT-4,5 wurde mit seinen Vorgängern wie GPT-4O und O1 verglichen, um Verbesserungen der mehrsprachigen Fähigkeiten zu bewerten. Dieser Vergleich hilft dabei, Bereiche zu identifizieren, in denen GPT-4,5 fortgeschritten ist und wo dies möglicherweise noch verbessert werden kann [1].
4. Sicherheitsbewertungen: Die Sicherheitsbewertungen sind zwar nicht ausschließlich auf mehrsprachige Fähigkeiten ausgerichtet, und berücksichtigen Sie auch, wie gut das Modell verschiedene sprachliche Eingaben abwickelt und sicherstellt, dass es keinen schädlichen oder unangemessenen Inhalt über Sprachen hinweg erzeugt [1].
5. Externe Bewertungen: OpenAI, wahrscheinlich gehebelte externe Frameworks und Tools, ähnlich der C-LARA-Plattform, die zur Bewertung der mehrsprachigen Verarbeitung von GPT-4 verwendet wird, um die Sprachfunktionen von GPT-4.5 weiter zu bewerten [4]. In den verfügbaren Informationen werden jedoch keine spezifischen Details zur Verwendung solcher Plattformen für GPT-4.5 angegeben.
Diese Methoden bieten gemeinsam eine robuste Bewertung der mehrsprachigen Leistung von GPT-44.5, wodurch die Stärken und Bereiche für zukünftige Verbesserungen hervorgehoben werden.
Zitate:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-System-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4'S_Multilingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-release-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-largest-ai-model-yet/