Aby ocenić wielojęzyczne możliwości GPT-4.5, Openai zastosował kilka metodologii:
1. Tłumaczenie zestawów testowych: Openai przetłumaczył zestaw testowy wielojęzycznego zrozumienia języka (MMLU) na 14 języków za pomocą profesjonalnych tłumaczy ludzkich. Takie podejście pozwoliło na kompleksową ocenę wydajności GPT-4.5 w wielu językach, w tym arabskim, bengalskim, chińskim (uproszczonym), angielskim, francuskim, niemieckim, hindi, indonezyjskim, japońskim, koreańskim, portugalskim (Brazylii), hiszpańskim, swahili i yoruba [1].
2. Ocena zerowego strzału: Model został przetestowany w ustawieniu zerowym, co oznacza, że nie otrzymał dodatkowych danych treningowych ani dostrajania dla określonych języków. Ta metoda ocenia zdolność modelu do uogólnienia między językami bez wyraźnego szkolenia [1].
3. Porównanie z poprzednimi modelami: Wydajność GPT-4.5 została porównana z jego poprzednikami, takimi jak GPT-4O i O1, w celu oceny poprawy możliwości wielojęzycznych. To porównanie pomaga zidentyfikować obszary, w których GPT-4.5 rozwinęło się i gdzie może nadal wymagać poprawy [1].
4. Oceny bezpieczeństwa: Chociaż nie koncentrują się wyłącznie na możliwościach wielojęzycznych, oceny bezpieczeństwa rozważają również, jak dobrze model obsługuje różnorodne dane wejściowe językowe, zapewniając, że nie generuje on szkodliwej ani niewłaściwej treści w językach [1].
5. Oceny zewnętrzne: Openai prawdopodobnie wykorzystuje zewnętrzne ramy i narzędzia, podobne do platformy C-Lara używanej do oceny wielojęzycznego przetwarzania GPT-4, aby dalej ocenić możliwości językowe GPT-4.5 [4]. Jednak szczegółowe informacje na temat korzystania z takich platform dla GPT-4.5 nie są podane w dostępnych informacjach.
Metodologie te łącznie zapewniają solidną ocenę wielojęzycznej wydajności GPT-4.5, podkreślając jego mocne i obszary do przyszłej poprawy.
Cytaty:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4'S_Multililyal_Processing
[5] https://www.thheverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-ielbest-ai-model-yet/