Na vyhodnotenie viacjazyčných schopností GPT-4.5 spoločnosť OpenAI použila niekoľko metodík:
1. Preklad testovacích sád: OpenAI preložil testovaciu sadu referenčnej hodnoty viacjazyčného masívneho jazyka (MMLU) do 14 jazykov pomocou profesionálnych ľudských prekladateľov. Tento prístup umožnil komplexné hodnotenie výkonu GPT-4,5 vo viacerých jazykoch vrátane arabčiny, bengálska, čínštiny (zjednodušeného), angličtiny, francúzštiny, nemeckého, hindčiny, indonézskeho, taliančiny, japončiny, kórejčiny, portugalčiny (Brazília), španielčiny, svahili a Yoruba [1].
2. Hodnotenie nulového shot: Model bol testovaný v nastavení s nulovým záberom, čo znamená, že nebolo poskytnuté s ďalšími údajmi o výcviku ani doladením konkrétnych jazykov. Táto metóda hodnotí schopnosť modelu zovšeobecniť sa v celom jazyku bez explicitného školenia [1].
3. Porovnanie s predchádzajúcimi modelmi: Výkon GPT-4,5 sa porovnal s jeho predchodcami, ako sú GPT-4O a O1, na vyhodnotenie zlepšení viacjazyčných schopností. Toto porovnanie pomáha identifikovať oblasti, v ktorých GPT-4,5 pokročil a kde si stále môže vyžadovať zlepšenie [1].
4. Hodnotenia bezpečnosti: Aj keď sa nezameriavajú výlučne na viacjazyčné schopnosti, hodnotenia bezpečnosti tiež zvažujú, ako dobre model zvláda rôzne jazykové vstupy, čo zabezpečuje, že nevytvára škodlivý alebo nevhodný obsah medzi jazykmi [1].
5. Externé hodnotenia: OpenAI Pravdepodobne využívané externé rámce a nástroje podobné platforme C-Lara používanou na hodnotenie viacjazyčného spracovania GPT-4 na ďalšie hodnotenie jazykových schopností GPT-4.5 [4]. V dostupných informáciách však nie sú uvedené konkrétne podrobnosti o používaní takýchto platforiem pre GPT-4.5.
Tieto metodiky spoločne poskytujú spoľahlivé hodnotenie viacjazyčného výkonu GPT-4,5, pričom zdôrazňujú jeho silné stránky a oblasti pre budúce zlepšenie.
Citácie:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/37599167_using_clara_to_evaluate_gpt-4's_Mullational_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-orion-ai-model-rease
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases--gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-orion-orion-ent-LrarSk-ai-model-yet/