A GPT-4.5 többnyelvű képességeinek értékeléséhez az OpenAI számos módszertant alkalmazott:
1. A tesztkészletek fordítása: Az OpenAi a többnyelvű hatalmas nyelvi megértés (MMLU) referenciaértékének tesztkészletét 14 nyelvre fordítja, professzionális emberi fordítóval. Ez a megközelítés lehetővé tette a GPT-4.5 teljesítményének átfogó értékelését több nyelven, beleértve az arab, bengáli, kínai (egyszerűsített), angol, francia, német, hindi, indonéz, olasz, japán, koreai, portugál (brazíliai), spanyol, szuahili és joruba [1].
2. nulla lövés értékelés: A modellt nulla lövéses beállítással tesztelték, vagyis nem adták meg további edzési adatokkal vagy finomhangolással az egyes nyelvek számára. Ez a módszer kiértékeli a modell azon képességét, hogy a nyelveken keresztül általánosítsa, kifejezett képzés nélkül [1].
3. Összehasonlítás a korábbi modellekkel: A GPT-4.5 teljesítményét összehasonlították az elődeivel, például a GPT-4O-val és az O1-vel, hogy felmérjék a többnyelvű képességek javulását. Ez az összehasonlítás segít azonosítani azokat a területeket, ahol a GPT-4.5 előrehaladt, és ahol továbbra is javítást igényelhet [1].
4. Biztonsági értékelések: Noha a biztonsági értékelések nem kizárólag a többnyelvű képességekre összpontosítanak, azt is mérlegeljük, hogy a modell mennyire kezeli a különféle nyelvi bemeneteket, biztosítva, hogy ez ne generáljon káros vagy nem megfelelő tartalmat a nyelvek között [1].
5. Külső értékelések: Az Openai valószínűleg tőkeáttételes külső kereteket és eszközöket, hasonlóan a GPT-4 többnyelvű feldolgozásának értékeléséhez használt C-LARA platformhoz, a GPT-4.5 nyelvi képességeinek további felmérésére [4]. Az ilyen platformok GPT-4.5 számára történő felhasználásáról szóló konkrét részleteket azonban a rendelkezésre álló információk nem tartalmazzák.
Ezek a módszerek együttesen robusztus értékelést nyújtanak a GPT-4.5 többnyelvű teljesítményéről, kiemelve annak erősségeit és területeit a jövőbeni javulás érdekében.
Idézetek:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
[4] https://www.researchgate.net/publication/375999167_using_c-lara_to_evaluate_gpt-4's_multilylingual_processinging
[5] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-iion-model-reelease
[6] https://www.mdpi.com/2227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-reases-gpt-4-5/
[8] https://techcrunch.com/2025/02/27/openai-utveils-gpt-4-5-orion-orion-largest-ai-model-yet/