GPT-4.5'in çok dilli yeteneklerini değerlendirmek için Openai çeşitli metodolojiler kullandı:
1. Test setlerinin çevirisi: Openai, çok dilli büyük dil anlayışının (MMLU) karşılaştırmasının test setini profesyonel insan çevirmenleri kullanarak 14 dile çevirdi. Bu yaklaşım, GPT-4.5'in Arap, Bengalce, Çince (basitleştirilmiş), İngilizce, Fransızca, Almanca, Hintçe, Endonezya, İtalyan, Japon, Koreli, Portekizce (Brezilya), İspanyol, Swahili ve Yoruba gibi birçok dilde kapsamlı bir değerlendirmesine izin verdi [1].
2. Sıfır atış değerlendirmesi: Model sıfır atış ortamında test edilmiştir, yani ek eğitim verileri veya belirli diller için ince ayar sağlanmamıştır. Bu yöntem, modelin açık bir eğitim olmadan diller arasında genelleme yeteneğini değerlendirir [1].
3. Önceki modellerle karşılaştırma: GPT-4.5'in performansı, çok dilli yeteneklerdeki iyileştirmeleri değerlendirmek için GPT-4O ve O1 gibi öncekilerle karşılaştırıldı. Bu karşılaştırma, GPT-4.5'in ilerlediği ve yine de iyileştirme gerektirebileceği alanların belirlenmesine yardımcı olur [1].
4. Güvenlik Değerlendirmeleri: Sadece çok dilli yeteneklere odaklanmasa da, güvenlik değerlendirmeleri, modelin çeşitli dilsel girdileri ne kadar iyi ele aldığını ve diller arasında zararlı veya uygunsuz içerik üretmemesini sağladığını düşünmektedir [1].
5. Harici Değerlendirmeler: Openai, GPT-4.5'in dil yeteneklerini daha da değerlendirmek için GPT-4'ün çok dilli işlemesini değerlendirmek için kullanılan C-Lara platformuna benzer şekilde, muhtemelen kaldırılmış harici çerçeveler ve araçlardan yararlanmıştır [4]. Ancak, GPT-4.5 için bu tür platformların kullanımı hakkında spesifik ayrıntılar mevcut bilgilerde verilmemiştir.
Bu metodolojiler, GPT-4.5'in çok dilli performansının güçlü yönlerini ve gelecekteki iyileştirme alanlarını vurgulayan sağlam bir değerlendirmeyi sağlar.
Alıntılar:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/37599167_using_c-la_to_evaluate_gpt-4's_multilual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-tion-ai-model-se-
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://ventureBeat.com/ai/openai-selues-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-igest-ai-model-Yet/