GPT-4.5 tika apmācīts daudzveidīgā datu kopu komplektā, ieskaitot publiski pieejamo datu, patentēto datu partnerības datu un pielāgoto datu kopu sajaukumu. Šīs datu kopas kolektīvi veicina modeļa robustās sarunvalodas spējas un zināšanas par pasauli. Tomēr īpaša informācija par precīzām izmantotajām datu kopām nav skaidri minēta pieejamajā informācijā.
Apmācības process ietvēra jaunas uzraudzības metodes apvienojumā ar tradicionālajām metodēm, piemēram, uzraudzītu precizēšanu (SFT) un pastiprināšanas mācīšanos no cilvēku atgriezeniskās saites (RLHF), līdzīgi tiem, kas tiek izmantoti GPT-4O [1] [3]. Modeļa izstrāde ietvēra arī mērogojamas izlīdzināšanas metodes, kur mazākie modeļi ģenerē augstas kvalitātes apmācības datus lielākiem modeļiem, uzlabojot modeļa vadāmību un izpratni par niansi [7].
Openai datu apstrādes cauruļvads ietver stingru filtrēšanu, lai saglabātu datu kvalitāti un mazinātu iespējamos riskus. Viņi izmanto uzlabotus datu filtrēšanas procesus, lai samazinātu personiskās informācijas apstrādi, apmācot viņu modeļus. Turklāt viņi izmanto to mērenības API un drošības klasifikatoru kombināciju, lai novērstu kaitīgu vai jutīgu saturu [1].
Kaut arī precīzas datu kopas nav detalizētas, pieeja uzsver plašu un daudzveidīgu datu pamatu, lai atbalstītu GPT-4.5 iespējas tādos uzdevumos kā rakstīšana, programmēšana un praktisku problēmu risināšana ar mazāk halucinācijām [1] [3].
Atsauces:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-dood-this-model-is
[8] https://arxiv.org/html/2404.07840v1