Για να αξιολογήσει τις πολυγλωσσικές δυνατότητες του GPT-4.5, η OpenAI χρησιμοποίησε αρκετές μεθοδολογίες:
1. Μετάφραση των συνόλων δοκιμών: Το OpenAI μεταφράζει το σύνολο δοκιμών της πολυγλωσσικής μαζικής κατανόησης της γλωσσικής κατανόησης (MMLU) σε 14 γλώσσες χρησιμοποιώντας επαγγελματίες μεταφραστές ανθρώπων. Αυτή η προσέγγιση επέτρεψε μια ολοκληρωμένη αξιολόγηση της απόδοσης του GPT-4.5 σε πολλές γλώσσες, όπως τα αραβικά, τα μπενγκαλί, τα κινεζικά (απλοποιημένα), τα αγγλικά, τα γαλλικά, τα γερμανικά, τα χίντι, η ινδονησιακή, η ιταλική, η ιαπωνική, η κορεατική, η πορτογαλική (Βραζιλία), η ισπανική, η Σουαχίλι και η Γιορούμπα [1].
2. Αξιολόγηση μηδενικού πυροβολισμού: Το μοντέλο δοκιμάστηκε σε ρύθμιση μηδενικής βολής, που σημαίνει ότι δεν είχε πρόσθετα δεδομένα εκπαίδευσης ή τελειοποίηση για συγκεκριμένες γλώσσες. Αυτή η μέθοδος αξιολογεί την ικανότητα του μοντέλου να γενικεύει τις γλώσσες χωρίς ρητή εκπαίδευση [1].
3. Σύγκριση με προηγούμενα μοντέλα: Η απόδοση του GPT-4.5 συγκρίθηκε με τους προκατόχους της, όπως οι GPT-4O και O1, για να αξιολογήσουν τις βελτιώσεις στις πολυγλωσσικές δυνατότητες. Αυτή η σύγκριση συμβάλλει στον εντοπισμό περιοχών όπου η GPT-4.5 έχει προχωρήσει και όπου μπορεί να απαιτεί βελτίωση [1].
4. Αξιολογήσεις ασφαλείας: Αν και δεν επικεντρώνεται αποκλειστικά στις πολυγλωσσικές δυνατότητες, οι αξιολογήσεις ασφαλείας εξετάζουν επίσης πόσο καλά το μοντέλο χειρίζεται διαφορετικές γλωσσικές εισροές, εξασφαλίζοντας ότι δεν παράγει επιβλαβές ή ακατάλληλο περιεχόμενο σε όλες τις γλώσσες [1].
5. Εξωτερικές αξιολογήσεις: Η OpenAI πιθανώς αξιοποίησε εξωτερικά πλαίσια και εργαλεία, παρόμοια με την πλατφόρμα C-LARA που χρησιμοποιήθηκε για την αξιολόγηση της πολύγλωσσας επεξεργασίας της GPT-4, για την περαιτέρω αξιολόγηση των γλωσσικών δυνατοτήτων του GPT-4.5 [4]. Ωστόσο, συγκεκριμένες λεπτομέρειες σχετικά με τη χρήση τέτοιων πλατφορμών για το GPT-4.5 δεν παρέχονται στις διαθέσιμες πληροφορίες.
Αυτές οι μεθοδολογίες παρέχουν συλλογικά μια ισχυρή αξιολόγηση της πολύγλωσσας απόδοσης της GPT-4.5, υπογραμμίζοντας τα πλεονεκτήματα και τους τομείς για μελλοντική βελτίωση.
Αναφορές:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multiledual_processing
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-unveils-gpt-4-5-orion-its-largest-ai-model-yet/