For å evaluere flerspråklige evner til GPT-4.5, benyttet Openai flere metodologier:
1. Oversettelse av testsett: Openai oversatte testsettet med den flerspråklige massive språkforståelsen (MMLU) benchmark til 14 språk ved hjelp av profesjonelle menneskelige oversettere. Denne tilnærmingen muliggjorde en omfattende vurdering av GPT-4.5s ytelse på tvers av flere språk, inkludert arabisk, bengalsk, kinesisk (forenklet), engelsk, fransk, tysk, hindi, indonesisk, italiensk, japansk, koreansk, portugisisk (Brasil), spansk, swahili og yoruba [1].
2. Null-skudd Evaluering: Modellen ble testet i en null-skudd-innstilling, noe som betyr at den ikke ble utstyrt med ytterligere treningsdata eller finjustering for spesifikke språk. Denne metoden evaluerer modellens evne til å generalisere på tvers av språk uten eksplisitt trening [1].
3. Sammenligning med tidligere modeller: GPT-4.5s ytelse ble sammenlignet med forgjengerne, for eksempel GPT-4O og O1, for å vurdere forbedringer i flerspråklige evner. Denne sammenligningen hjelper til med å identifisere områder der GPT-4.5 har avansert og hvor den fremdeles kan kreve forbedring [1].
4. Sikkerhetsevalueringer: Selv om de ikke utelukkende fokuserer på flerspråklige evner, vurderer sikkerhetsevalueringer også hvor godt modellen håndterer forskjellige språklige innspill, og sikrer at den ikke genererer skadelig eller upassende innhold på tvers av språk [1].
5. Eksterne evalueringer: Openai utnyttet sannsynligvis eksterne rammer og verktøy, lik C-LARA-plattformen som brukes til å evaluere GPT-4s flerspråklige prosessering, for ytterligere å vurdere GPT-4.5s språkfunksjoner [4]. Spesifikke detaljer om bruk av slike plattformer for GPT-4.5 er imidlertid ikke gitt i tilgjengelig informasjon.
Disse metodologiene gir samlet en robust vurdering av GPT-4.5s flerspråklige ytelse, og fremhever styrkene og områdene for fremtidig forbedring.
Sitasjoner:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilingual_processing
[5] https://www.theverge.com/news/620021/opena-gpt-4-5-orrion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-gest-ai-model-jet/