Per valutare le capacità multilingue di GPT-4.5, Openi ha impiegato diverse metodologie:
1. Traduzione dei set di test: Openai ha tradotto l'insieme di test del benchmark multilingue di comprensione del linguaggio massiccio (MMLU) in 14 lingue usando traduttori umani professionisti. Questo approccio ha consentito una valutazione completa delle prestazioni di GPT-4.5 in più lingue, tra cui arabo, bengalese, cinese (semplificato), inglese, francese, tedesco, hindi, indonesiano, italiano, giapponese, coreano, portoghese (Brasile), spagnolo, swahili e yoruba [1].
2. Valutazione a scatto zero: il modello è stato testato in un'impostazione a scatto zero, il che significa che non è stato fornito dati di addestramento aggiuntivi o perfezionamenti per linguaggi specifici. Questo metodo valuta la capacità del modello di generalizzare tra le lingue senza formazione esplicita [1].
3. Confronto con i modelli precedenti: le prestazioni di GPT-4.5 sono state confrontate con i suoi predecessori, come GPT-4O e O1, per valutare i miglioramenti nelle capacità multilingue. Questo confronto aiuta a identificare le aree in cui GPT-4.5 è avanzato e dove può ancora richiedere un miglioramento [1].
4. Valutazioni della sicurezza: sebbene non focalizzati esclusivamente sulle capacità multilingue, le valutazioni della sicurezza considerano anche quanto il modello gestisce diversi input linguistici, garantendo che non genera contenuti dannosi o inappropriati tra le lingue [1].
5. Valutazioni esterne: Openai probabilmente sfruttati quadri e strumenti esterni, simili alla piattaforma C-LARA utilizzata per valutare l'elaborazione multilingue di GPT-4, per valutare ulteriormente le capacità linguistiche di GPT-4.5 [4]. Tuttavia, i dettagli specifici sull'uso di tali piattaforme per GPT-4.5 non sono forniti nelle informazioni disponibili.
Queste metodologie forniscono collettivamente una solida valutazione delle prestazioni multilingue di GPT-4.5, evidenziando i suoi punti di forza e le aree per il miglioramento futuro.
Citazioni:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-lagest-ai-model-yet/