GPT-4.5 mitmekeelsete võimaluste hindamiseks kasutas OpenAi mitmeid metoodikaid:
1. Testkomplektide tõlge: OpenAi tõlkis mitmekeelse keele mõistmise (MMLU) võrdlusaluse testkomplekti 14 keelde, kasutades professionaalseid tõlkijaid. See lähenemisviis võimaldas põhjalikku hinnata GPT-4,5 jõudlust mitmes keeles, sealhulgas araabia, bengali, hiina (lihtsustatud), inglise, prantsuse, saksa, hindi, indoneesia, itaalia, jaapani, korea, portugali (Brasiilia), hispaania, suahiili ja joruba vahel [1].
2. null-laskude hindamine: mudelit testiti nullvõõlases sättes, mis tähendab, et sellele ei antud täiendavaid koolitusandmeid ega konkreetsete keelte peenhäälestamist. See meetod hindab mudeli võimet üldistada keeltes ilma selgesõnalise koolituseta [1].
3. Võrdlus varasemate mudelitega: GPT-4.5 jõudlust võrreldi selle eelkäijatega, näiteks GPT-4O ja O1, et hinnata mitmekeelsete võimaluste paranemist. See võrdlus aitab tuvastada valdkondi, kus GPT-4.5 on arenenud ja kus see võib siiski parandada [1].
4. Ohutuse hindamine: kuigi see ei keskendu ainult mitmekeelsetele võimalustele, kaaluge ohutuse hindamist ka seda, kui hästi mudel haldab mitmekesiseid keelelisi sisendeid, tagades, et see ei tekita keeltes kahjulikku ega sobimatut sisu [1].
5. Välised hinnangud: OpenAI võimendatud tõenäoliselt väliseid raamistikuid ja tööriistu, sarnaselt C-Lara platvormiga, mida kasutatakse GPT-4 mitmekeelse töötlemise hindamiseks, et veelgi hinnata GPT-4.5 keelevõimalusi [4]. Siiski ei ole konkreetses teabes esitatud konkreetseid üksikasju selliste platvormide kasutamise kohta GPT-4.5 jaoks.
Need metoodikad annavad ühiselt kindla hinnangu GPT-4.5 mitmekeelse jõudluse kohta, tuues välja selle tugevused ja valdkonnad edaspidiseks parandamiseks.
Tsitaadid:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://pmc.ncbi.nlm.nih.gov/articles/pmc11348013/
[3] https://openai.com/index/gpt-4-5-system-card/
]
]
[6] https://www.mdpi.com/22227-7102/14/2/148
[7] https://venturebeat.com/ai/openai-releaseses-gpt-4-5/
]