Para avaliar os recursos multilíngues do GPT-4.5, o OpenAI empregou várias metodologias:
1. Tradução de conjuntos de testes: o OpenAI traduziu o conjunto de testes do benchmark multilíngue de entendimento de linguagem maciça (MMLU) em 14 idiomas usando tradutores humanos profissionais. Essa abordagem permitiu uma avaliação abrangente do desempenho do GPT-4.5 em vários idiomas, incluindo árabe, bengali, chinês (simplificado), inglês, francês, alemão, hindi, indonésio, italiano, japonês, coreano, português (brasileiro), espanhol, swahili e yoruba [1].
2. Avaliação de tiro zero: o modelo foi testado em uma configuração de tiro zero, o que significa que não recebeu dados de treinamento adicionais ou ajustes finos para idiomas específicos. Este método avalia a capacidade do modelo de generalizar em todos os idiomas sem treinamento explícito [1].
3. Comparação com os modelos anteriores: o desempenho do GPT-4.5 foi comparado aos seus antecessores, como GPT-4O e O1, para avaliar melhorias nas capacidades multilíngues. Essa comparação ajuda a identificar áreas em que o GPT-4.5 avançou e onde ainda pode exigir melhora [1].
4. Avaliações de segurança: Embora não esteja exclusivamente focado nas capacidades multilíngues, as avaliações de segurança também consideram o quão bem o modelo lida com diversas entradas linguísticas, garantindo que não gerem conteúdo nocivo ou inadequado entre os idiomas [1].
5. Avaliações externas: o OpenAI provavelmente alavancou estruturas e ferramentas externas, semelhantes à plataforma C-LARA usada para avaliar o processamento multilíngue do GPT-4, para avaliar ainda mais os recursos de idioma do GPT-4.5 [4]. No entanto, detalhes específicos sobre o uso de tais plataformas para GPT-4.5 não são fornecidos nas informações disponíveis.
Essas metodologias fornecem coletivamente uma avaliação robusta do desempenho multilíngue do GPT-4.5, destacando seus pontos fortes e áreas para melhorias futuras.
Citações:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-Rlease
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-gargest-ai-model-yet/