For at evaluere de flersprogede kapaciteter i GPT-4.5 anvendte Openai flere metodologier:
1. Oversættelse af testsæt: Openai oversatte testsættet for den flersprogede massive sprogforståelse (MMLU) benchmark til 14 sprog ved hjælp af professionelle menneskelige oversættere. Denne tilgang muliggjorde en omfattende vurdering af GPT-4.5's præstation på tværs af flere sprog, herunder arabisk, bengalsk, kinesisk (forenklet), engelsk, fransk, tysk, hindi, indonesisk, italiensk, japansk, koreansk, portugisisk (brasilien), spansk, swahili og yoruba [1].
2. Nul-shot-evaluering: Modellen blev testet i en nul-shot-indstilling, hvilket betyder, at den ikke var forsynet med yderligere træningsdata eller finjustering for specifikke sprog. Denne metode evaluerer modellens evne til at generalisere på tværs af sprog uden eksplicit træning [1].
3. Sammenligning med tidligere modeller: GPT-4.5s præstation blev sammenlignet med dens forgængere, såsom GPT-4O og O1, for at vurdere forbedringer i flersprogede kapaciteter. Denne sammenligning hjælper med at identificere områder, hvor GPT-4.5 er avanceret, og hvor den stadig kan kræve forbedring [1].
4. Sikkerhedsevalueringer: Selvom det ikke udelukkende er fokuseret på flersprogede kapaciteter, overvejer sikkerhedsevalueringer også, hvor godt modellen håndterer forskellige sproglige input, hvilket sikrer, at den ikke genererer skadeligt eller upassende indhold på tværs af sprog [1].
5. Eksterne evalueringer: Openai har sandsynligvis gearet eksterne rammer og værktøjer, svarende til C-LARA-platformen, der blev brugt til evaluering af GPT-4s flersprogede behandling, til yderligere at vurdere GPT-4.5s sprogkapaciteter [4]. Imidlertid findes specifikke detaljer om brugen af sådanne platforme til GPT-4.5 ikke i de tilgængelige oplysninger.
Disse metoder tilvejebringer samlet en robust vurdering af GPT-4.5s flersprogede ydeevne, der fremhæver dens styrker og områder til fremtidig forbedring.
Citater:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilingual_processing
[5] https://www.theverge.com/news/620021/openai-trpt-4-5-orion-i-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-release-tile-th
)