Pro vyhodnocení vícejazyčných schopností GPT-4.5 využil OpenAI několik metodik:
1. Překlad testovacích sad: OpenAI přeložil testovací sadu vícejazyčného masivního jazykového porozumění (MMLU) branchmarku do 14 jazyků pomocí profesionálních lidských překladatelů. Tento přístup umožnil komplexní posouzení výkonu GPT-4.5 ve více jazycích, včetně arabštiny, bengálštiny, čínského (zjednodušeného), angličtiny, francouzštiny, němčiny, hindštiny, indonéštiny, italštiny, japonštiny, korejštiny, portugalštiny (Brazílie), španělštiny, svahilské a Yoruba [1].
2. Vyhodnocení nulového výstřelu: Model byl testován v nastavení nulového výstřelu, což znamená, že nebylo poskytnuto další tréninkové údaje nebo jemné doladění pro konkrétní jazyky. Tato metoda hodnotí schopnost modelu zobecnit napříč jazyky bez explicitního tréninku [1].
3. srovnání s předchozími modely: Výkon GPT-4.5 byl porovnáván s jeho předchůdci, jako jsou GPT-4O a O1, aby se posoudila zlepšení vícejazyčných schopností. Toto srovnání pomáhá identifikovat oblasti, kde GPT-4.5 postupoval a kde může stále vyžadovat zlepšení [1].
4. Hodnocení bezpečnosti: Ačkoli se nezaměřuje výhradně na vícejazyčné schopnosti, hodnocení bezpečnosti také zvažují, jak dobře model zpracovává rozmanité jazykové vstupy, což zajišťuje, že negeneruje škodlivé nebo nevhodné obsah napříč jazyky [1].
5. Externí hodnocení: OpenAI pravděpodobně využívá externí rámce a nástroje, podobné platformě C-LARA používané pro hodnocení vícejazyčného zpracování GPT-4, k dalšímu posouzení jazykových schopností GPT-4.5 [4]. Konkrétní podrobnosti o používání těchto platforem pro GPT-4.5 však nejsou v dostupných informacích poskytovány.
Tyto metodiky společně poskytují robustní hodnocení vícejazyčného výkonu GPT-4.5, které zdůrazňují jeho silné stránky a oblasti pro budoucí zlepšení.
Citace:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4'S_Multual_Processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion- its-lgestent-ai-model-jet/