Для оцінки багатомовних можливостей GPT-4.5 OpenAI використовував кілька методологій:
1. Переклад тестових наборів: OpenAI переклав тестовий набір багатомовного масового розуміння мови (MMLU) на 14 мов, використовуючи професійні перекладачі людини. Цей підхід дозволив провести всебічну оцінку виконання GPT-4.5 на різних мовах, включаючи арабську, бенгальську, китайську (спрощену), англійську, французьку, німецьку, хінді, індонезійську, італійську, японську, корейську, португальську (Бразилію), іспанську, Swahili та Yoruba [1].
2. Цей метод оцінює здатність моделі узагальнювати між мовами без явного навчання [1].
3. Порівняння з попередніми моделями: Продуктивність GPT-4,5 порівнювали з його попередниками, такими як GPT-4O та O1, для оцінки вдосконалення багатомовних можливостей. Це порівняння допомагає визначити області, де GPT-4.5 просунувся і де він все ще може потребувати вдосконалення [1].
4.
5. Зовнішні оцінки: OpenAI, ймовірно, використовує зовнішні рамки та інструменти, подібно до платформи C-Lara, яка використовується для оцінки багатомовної обробки GPT-4 для подальшої оцінки мовних можливостей GPT-4.5 [4]. Однак конкретні деталі щодо використання таких платформ для GPT-4.5 не надаються в наявній інформації.
Ці методології колективно забезпечують надійну оцінку багатомовних показників GPT-4.5, підкреслюючи його сильні сторони та сфери для подальшого вдосконалення.
Цитати:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-larest-ai-model-yet/