Om de meertalige mogelijkheden van GPT-4.5 te evalueren, gebruikte Openai verschillende methoden:
1. Vertaling van testsets: OpenAI vertaalde de testset van de meertalige massieve taalverstand (MMLU) benchmark in 14 talen met behulp van professionele menselijke vertalers. Deze aanpak maakte een uitgebreide beoordeling van de prestaties van GPT-4.5 in meerdere talen mogelijk, waaronder Arabisch, Bengaals, Chinees (vereenvoudigd), Engels, Frans, Duits, Hindi, Indonesisch, Italiaans, Japans, Koreaans, Portugese (Brazilië), Spaans, Swahili en Yoruba [1].
2. Zero-shot evaluatie: het model werd getest in een nul-shot setting, wat betekent dat het niet werd voorzien van aanvullende trainingsgegevens of verfijning voor specifieke talen. Deze methode evalueert het vermogen van het model om over talen te generaliseren zonder expliciete training [1].
3. Vergelijking met eerdere modellen: de prestaties van GPT-4.5 werden vergeleken met zijn voorgangers, zoals GPT-4O en O1, om verbeteringen in meertalige mogelijkheden te beoordelen. Deze vergelijking helpt gebieden te identificeren waar GPT-4.5 is gevorderd en waar het nog steeds verbetering vereist [1].
4. Veiligheidsevaluaties: hoewel niet uitsluitend gericht op meertalige mogelijkheden, overwegen veiligheidsevaluaties ook hoe goed het model omgaat met verschillende taalinvoer, waardoor het geen schadelijke of ongepaste inhoud genereert tussen talen [1].
5. Externe evaluaties: OpenAI waarschijnlijk gebruikte externe kaders en tools, vergelijkbaar met het C-Lara-platform dat wordt gebruikt voor het evalueren van de meertalige verwerking van GPT-4, om de taalmogelijkheden van GPT-4.5 verder te beoordelen [4]. Specifieke details over het gebruik van dergelijke platforms voor GPT-4.5 worden echter niet verstrekt in de beschikbare informatie.
Deze methoden bieden gezamenlijk een robuuste beoordeling van de meertalige prestaties van GPT-4.5, wat de sterke punten en gebieden voor toekomstige verbetering benadrukt.
Citaten:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/3759999167_using_c-lara_to_evaluate_gpt-4's_multiTile_processinginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginginging
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-lit
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://ventureBeat.com/ai/openai-reases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-largest-ai-model-y