GPT-4,5 bol vyškolený na rozmanitú sadu súborov údajov vrátane kombinácie verejne dostupných údajov, patentovaných údajov z partnerstiev v dátových službách a vlastných súborov údajov vyvinutých interne. Tieto súbory údajov spoločne prispievajú k robustným konverzačným schopnostiam modelu a znalostiam sveta. V dostupných informáciách však nie sú výslovne uvedené konkrétne podrobnosti o presných použitých súboroch údajov.
Výcvikový proces zahŕňal nové techniky dohľadu v kombinácii s tradičnými metódami, ako je doladenie pod dohľadom (SFT) a posilňovacie učenie z ľudskej spätnej väzby (RLHF), podobné technikám používaným pre GPT-4O [1] [3]. Vývoj modelu zahŕňal aj škálovateľné techniky zarovnania, kde menšie modely generujú vysokokvalitné školiace údaje pre väčšie modely, čím sa zlepšuje riadenie modelu a pochopenie nuancie [7].
Potrubie na spracovanie údajov spoločnosti OpenAi zahŕňa prísne filtrovanie na udržanie kvality údajov a zmiernenie potenciálnych rizík. Používajú pokročilé procesy filtrovania údajov na zníženie spracovania osobných údajov pri školení ich modelov. Okrem toho používajú kombináciu svojich moderujúcich API a klasifikátorov bezpečnosti na zabránenie používania škodlivého alebo citlivého obsahu [1].
Zatiaľ čo presné súbory údajov nie sú podrobné, prístup zdôrazňuje široký a rozmanitý dátový základ na podporu schopností GPT-4.5 v úlohách, ako je písanie, programovanie a riešenie praktických problémov s menším počtom halucinácií [1] [3].
Citácie:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4-brings-the-ai-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-now-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-his-Model-is
[8] https://arxiv.org/html/2404.07840V1