Pentru a evalua capacitățile multilingve ale GPT-4.5, OpenAI a folosit mai multe metodologii:
1. Traducerea seturilor de teste: OpenAI a tradus setul de teste al valorii de referință multilingve masive de înțelegere masivă (MMLU) în 14 limbi folosind traducători umani profesioniști. Această abordare a permis o evaluare cuprinzătoare a performanței GPT-4.5 în mai multe limbi, inclusiv arabă, bengaleză, chineză (simplificată), engleză, franceză, germană, hindi, indoneziană, italiană, japoneză, coreeană, portugheză (Brazilia), spaniolă, Swahili și Yoruba [1].
2. Evaluare zero-împușcare: Modelul a fost testat într-o setare cu fotografii zero, ceea ce înseamnă că nu a fost prevăzut cu date suplimentare de instruire sau reglare fină pentru limbi specifice. Această metodă evaluează capacitatea modelului de a se generaliza în limbi fără o pregătire explicită [1].
3. Comparație cu modelele anterioare: performanța GPT-4.5 a fost comparată cu predecesorii săi, cum ar fi GPT-4O și O1, pentru a evalua îmbunătățirile capacităților multilingve. Această comparație ajută la identificarea zonelor în care GPT-4.5 a avansat și unde poate necesita în continuare îmbunătățiri [1].
4. Evaluări de siguranță: Deși nu se concentrează exclusiv pe capacități multilingve, evaluările de siguranță consideră, de asemenea, cât de bine modelul gestionează diverse intrări lingvistice, asigurându -se că nu generează conținut dăunător sau necorespunzător în limbi [1].
5. Evaluări externe: OpenAI probabil că a efectuat cadre și instrumente externe externe, similare cu platforma C-Lara folosită pentru evaluarea procesării multilingve a GPT-4, pentru a evalua în continuare capacitățile de limbă ale GPT-4.5 [4]. Cu toate acestea, detalii specifice despre utilizarea acestor platforme pentru GPT-4.5 nu sunt furnizate în informațiile disponibile.
Aceste metodologii oferă colectiv o evaluare robustă a performanței multilingve a GPT-4.5, subliniind punctele forte și zonele sale pentru îmbunătățiri viitoare.
Citări:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/PMC11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-AI-Model-Release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-relăase-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-ts-largest-AI-MODEL-THEET/