Lai novērtētu GPT-4.5 daudzvalodu iespējas, Openai tika izmantotas vairākas metodoloģijas:
1. Testu komplektu tulkojums: Openai tulkoja daudzvalodu masīvas valodas izpratnes (MMLU) etalona testa komplektu 14 valodās, izmantojot profesionālus cilvēku tulkotājus. Šī pieeja ļāva visaptveroši novērtēt GPT-4.5 sniegumu vairākās valodās, ieskaitot arābu, bengāļu, ķīniešu (vienkāršotu), angļu, franču, vācu, hindi, Indonēzijas, itāļu, japāņu, korejiešu, portugāļu (Brazīlijas), spāņu, svahili un japāņu, japāņu, korejiešu, portugāļu (Brazīlijas), spāņu, swahili un japāņu, japāņu, korejiešu, portugāļu (Brazīlijas), spāņu, swahili un japāņu, japāņu, japāņu, japāņu ”,.
2. Nulles šāviena novērtējums: modelis tika pārbaudīts nulles šāviena iestatījumā, kas nozīmē, ka tam netika sniegti papildu apmācības dati vai precizēšana konkrētām valodām. Šī metode novērtē modeļa spēju vispārināt dažādās valodās bez skaidras apmācības [1].
3. Salīdzinājums ar iepriekšējiem modeļiem: GPT-4.5 veiktspēja tika salīdzināta ar tā priekšgājējiem, piemēram, GPT-4O un O1, lai novērtētu daudzvalodu spēju uzlabojumus. Šis salīdzinājums palīdz noteikt apgabalus, kur GPT-4.5 ir progresējis un kur tas joprojām var būt nepieciešams uzlabot [1].
4. Drošības novērtējumi: Lai arī drošības novērtējumi nav vērsti tikai uz daudzvalodu iespējām, arī drošības novērtējumi apsver arī to, cik labi modelis apstrādā dažādas lingvistiskās izejvielas, nodrošinot, ka tas nerada kaitīgu vai nepiemērotu saturu dažādās valodās [1].
5. Ārējie novērtējumi: Openai, iespējams, izmantoja ārējos ietvarus un rīkus, līdzīgi C-LARA platformai, ko izmanto GPT-4 daudzvalodu apstrādes novērtēšanai, lai turpinātu novērtēt GPT-4.5 valodas iespējas [4]. Tomēr pieejamajā informācijā nav sniegta īpaša informācija par šādu platformu izmantošanu GPT-4.5.
Šīs metodoloģijas kolektīvi nodrošina stabilu GPT-4.5 daudzvalodu veiktspējas novērtējumu, izceļot tās stiprās puses un jomas turpmākai uzlabošanai.
Atsauces:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-reaseses-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-lartig-ai-model-yet/