Za oceno večjezičnih zmogljivosti GPT-4.5 je OpenAI uporabil več metodologij:
1. Prevod preskusnih nizov: OpenAI je prevedel testni niz večjezičnih masivnih jezikovnih razumevanja (MMLU) v 14 jezikov z uporabo profesionalnih človeških prevajalcev. Ta pristop je omogočil obsežno oceno uspešnosti GPT-4.5 v več jezikih, vključno z arabščino, bengalščino, kitajsko (poenostavljeno), angleščino, francoščino, nemščino, hindujščino, indonezijsko, italijansko, japonsko, japonsko, korejsko, korejsko, portugalsko (Brazil), španščino, Swahili in Yoruba [1].
2. Ocenjevanje z ničelnim strelom: Model je bil preizkušen v nastavitvi z ničelnim strelom, kar pomeni, da ni bil zagotovljen z dodatnimi podatki o usposabljanju ali natančno nastavitev za določene jezike. Ta metoda ocenjuje sposobnost modela za posploševanje v jezikih brez izrecnega usposabljanja [1].
3. Primerjava s prejšnjimi modeli: uspešnost GPT-4.5 je bila primerjana s predhodniki, kot sta GPT-4O in O1, za oceno izboljšav večjezičnih zmogljivosti. Ta primerjava pomaga prepoznati področja, kjer je GPT-4.5 napredoval in kjer lahko še vedno zahteva izboljšanje [1].
4. Varnostne ocene: Čeprav niso izključno osredotočene na večjezične zmogljivosti, varnostne ocene upoštevajo tudi, kako dobro model obravnava raznolike jezikovne vložke in zagotavlja, da ne ustvarja škodljive ali neprimerne vsebine v jezikih [1].
5. Zunanje ocene: OpenAI verjetno izkoristijo zunanje okvire in orodja, podobno kot platforma C-Lara, ki se uporablja za oceno večjezične obdelave GPT-4, za nadaljnjo oceno jezikovnih zmogljivosti GPT-4.5 [4]. Vendar posebne podrobnosti o uporabi takšnih platform za GPT-4.5 niso na voljo v razpoložljivih informacijah.
Te metodologije skupaj zagotavljajo trdno oceno večjezičnih zmogljivosti GPT-4.5, ki poudarjajo njegove prednosti in področja za prihodnje izboljšanje.
Navedbe:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/37599167_using_c-lara_to_evaluate_gpt-4's_multivetinglual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-rease
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-largest-ai-model-yet/