GPT-4.5 byl vyškolen na rozmanité sadě datových sad, včetně kombinace veřejně dostupných dat, proprietárních dat z datových partnerství a vlastní datové sady vyvinuté in-house. Tyto datové sady kolektivně přispívají k robustním konverzačním schopnostem a světovým znalostem modelu. Konkrétní podrobnosti o přesných použitých datových sadách však nejsou v dostupných informacích výslovně uvedeny.
Proces tréninku zahrnoval nové techniky dozoru kombinované s tradičními metodami, jako je pod dohledem jemného doladění (SFT) a posilovací učení z lidské zpětné vazby (RLHF), podobné těm, které se používají pro GPT-4o [1] [3]. Vývoj modelu také zahrnoval škálovatelné techniky vyrovnání, kde menší modely generují vysoce kvalitní tréninkové údaje pro větší modely, což zvyšuje regulaci modelu a porozumění nuanci [7].
Potrubí zpracování dat OpenAI zahrnuje přísné filtrování pro udržení kvality dat a zmírnění potenciálních rizik. Při školení jejich modelů používají pokročilé procesy filtrování dat ke snížení zpracování osobních údajů. Kromě toho používají kombinaci jejich moderovacího API a bezpečnostních klasifikátorů, aby zabránili použití škodlivého nebo citlivého obsahu [1].
Přestože přesné datové sady nejsou podrobně popsány, přístup zdůrazňuje široký a rozmanitý datový základ pro podporu schopností GPT-4.5 v úkolech, jako je psaní, programování a řešení praktických problémů s menším počtem halucinací [1] [3].
Citace:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsDatascience.com/what-gpt-4 brings-to-the-ate-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-ing-bout-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1