ما هي المنهجيات التي تم استخدامها لتقييم قدرات GPT-4.5 متعددة اللغات

1. ترجمة مجموعات الاختبار: ترجمة Openai مجموعة الاختبار من معايير فهم اللغة الضخمة متعددة اللغات (MMLU) إلى 14 لغة باستخدام المترجمين البشريين المحترفين. سمح هذا النهج بتقييم شامل لأداء GPT-4.5 عبر لغات متعددة ، بما في ذلك اللغة العربية والبنغالية والصينية (المبسطة) والإنجليزية والفرنسية والألمانية والهندية والإندونيسية والإيطالية واليابانية والكورية والبرتغالية (البرازيلية) والإسبانية والسواهيلي ويوروبا [1].

2. تقييم الصفر: تم اختبار النموذج في إعداد صفر ، مما يعني أنه لم يتم تزويده ببيانات تدريب إضافية أو صقل لغات محددة. تقوم هذه الطريقة بتقييم قدرة النموذج على التعميم عبر اللغات دون تدريب صريح [1].

3. مقارنة مع النماذج السابقة: تمت مقارنة أداء GPT-4.5 بأسلافها ، مثل GPT-4O و O1 ، لتقييم التحسينات في القدرات متعددة اللغات. تساعد هذه المقارنة في تحديد المناطق التي تقدم فيها GPT-4.5 وحيث قد لا تزال تتطلب تحسينًا [1].

4. تقييمات السلامة: على الرغم من عدم التركيز بشكل حصري على القدرات متعددة اللغات ، فإن تقييمات السلامة تفكر أيضًا في مدى تعامل النموذج مع المدخلات اللغوية المتنوعة ، مما يضمن أنه لا يولد محتوى ضارًا أو غير مناسب عبر اللغات [1].

5. التقييمات الخارجية: من المحتمل أن يقوم Openai بالاستفادة من الأطر والأدوات الخارجية ، على غرار منصة C-LARA المستخدمة لتقييم المعالجة المتعددة اللغات GPT-4 ، لزيادة تقييم قدرات لغة GPT-4.5 [4]. ومع ذلك ، لا يتم توفير تفاصيل محددة حول استخدام هذه الأنظمة الأساسية لـ GPT-4.5 في المعلومات المتاحة.

توفر هذه المنهجيات مجتمعة تقييمًا قويًا للأداء متعدد اللغات GPT-4.5 ، مما يبرز نقاط قوته ومجالاته للتحسين في المستقبل.

الاستشهادات:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/PMC11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evalate_gpt-4's_multingual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7]
[8]