GPT-4.5 è stato addestrato su una serie diversificata di set di dati, tra cui un mix di dati disponibili al pubblico, dati proprietari da partenariati di dati e set di dati personalizzati sviluppati internamente. Questi set di dati contribuiscono collettivamente alle solide capacità di conversazione del modello e alle conoscenze mondiali. Tuttavia, i dettagli specifici sui set di dati esatti utilizzati non sono esplicitamente menzionati nelle informazioni disponibili.
Il processo di formazione prevedeva nuove tecniche di supervisione combinate con metodi tradizionali come la messa a punto supervisionato (SFT) e l'apprendimento del rinforzo dal feedback umano (RLHF), simili a quelli utilizzati per GPT-4o [1] [3]. Lo sviluppo del modello includeva anche tecniche di allineamento scalabili, in cui modelli più piccoli generano dati di addestramento di alta qualità per modelli più grandi, migliorando la manutrabilità del modello e la comprensione della sfumatura [7].
La pipeline di elaborazione dei dati di Openi include un rigoroso filtro per mantenere la qualità dei dati e mitigare potenziali rischi. Impiegano processi avanzati di filtraggio dei dati per ridurre l'elaborazione delle informazioni personali durante la formazione dei loro modelli. Inoltre, usano una combinazione della loro API di moderazione e dei classificatori di sicurezza per prevenire l'uso di contenuti dannosi o sensibili [1].
Sebbene i set di dati esatti non siano dettagliati, l'approccio enfatizza una fondazione di dati ampia e diversificata per supportare le capacità di GPT-4.5 in compiti come la scrittura, la programmazione e la risoluzione di problemi pratici con meno allucinazioni [1] [3].
Citazioni:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4-brings-to-the-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1