GPT-4.5 koolitati mitmekesisel andmekogumi komplektil, sealhulgas segu avalikult kättesaadavatest andmetest, andmepartnerluste patenteeritud andmetest ja ettevõttesiseselt välja töötatud kohandatud andmekogumitest. Need andmekogumid aitavad ühiselt kaasa mudeli tugevatele vestlusvõimalustele ja maailma teadmistele. Konkreetseid üksikasju kasutatavate täpsete andmekogumite kohta ei ole aga olemasolevas teabes selgesõnaliselt mainitud.
Treeningprotsess hõlmas uusi järelevalvetehnikaid koos traditsiooniliste meetoditega, näiteks juhendatud peenhäälestamise (SFT) ja tugevdamise õppimisega inimese tagasisidest (RLHF), sarnaselt GPT-4O jaoks kasutatavatega [1] [3]. Mudeli areng sisaldas ka skaleeritavaid joondamistehnikaid, kus väiksemad mudelid genereerivad kvaliteetseid treeninguandmeid suuremate mudelite jaoks, suurendades mudeli juhtimist ja mõistmist nüanssist [7].
OpenAi andmetöötlustorustik sisaldab ranget filtreerimist andmete kvaliteedi säilitamiseks ja võimalike riskide leevendamiseks. Nad kasutavad täiustatud andmete filtreerimisprotsesse, et vähendada isikliku teabe töötlemist oma mudelite koolitamisel. Lisaks kasutavad nad kahjuliku või tundliku sisu kasutamise vältimiseks oma modereerimise API ja ohutusklassifikaatorite kombinatsiooni [1].
Kuigi täpsed andmekogumid pole üksikasjalikud, rõhutab lähenemisviis laia ja mitmekesist andmesidet GPT-4.5 võimaluste toetamiseks sellistes ülesannetes nagu kirjutamine, programmeerimine ja praktiliste probleemide lahendamine vähem hallutsinatsioonidega [1] [3].
Tsitaadid:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
]
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
]
]
[8] https://arxiv.org/html/2404.07840v1