GPT-4.5 dilatih pada beragam kumpulan data, termasuk campuran data yang tersedia untuk umum, data hak milik dari kemitraan data, dan kumpulan data khusus yang dikembangkan di rumah. Dataset ini secara kolektif berkontribusi pada kemampuan percakapan yang kuat dan pengetahuan dunia. Namun, detail spesifik tentang dataset persis yang digunakan tidak secara eksplisit disebutkan dalam informasi yang tersedia.
Proses pelatihan melibatkan teknik pengawasan baru yang dikombinasikan dengan metode tradisional seperti Fine-tuning (SFT) yang diawasi dan pembelajaran penguatan dari umpan balik manusia (RLHF), mirip dengan yang digunakan untuk GPT-4O [1] [3]. Pengembangan model juga termasuk teknik penyelarasan yang dapat diskalakan, di mana model yang lebih kecil menghasilkan data pelatihan berkualitas tinggi untuk model yang lebih besar, meningkatkan kemudi dan pemahaman model tentang nuansa [7].
Pipa pemrosesan data OpenAI termasuk penyaringan yang ketat untuk mempertahankan kualitas data dan mengurangi risiko potensial. Mereka menggunakan proses penyaringan data lanjutan untuk mengurangi pemrosesan informasi pribadi saat melatih model mereka. Selain itu, mereka menggunakan kombinasi API moderasi dan pengklasifikasi keamanan untuk mencegah penggunaan konten berbahaya atau sensitif [1].
Sementara set data yang tepat tidak terperinci, pendekatan ini menekankan fondasi data yang luas dan beragam untuk mendukung kemampuan GPT-4.5 dalam tugas-tugas seperti menulis, pemrograman, dan memecahkan masalah praktis dengan halusinasi lebih sedikit [1] [3].
Kutipan:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatacience.com/what-gpt-4-brings-to-the-ai-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoeee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-now-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-heere-heres-how-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1