O GPT-4.5 foi treinado em um conjunto diversificado de conjuntos de dados, incluindo uma mistura de dados publicamente disponíveis, dados proprietários de parcerias de dados e conjuntos de dados personalizados desenvolvidos internamente. Esses conjuntos de dados contribuem coletivamente para os robustos recursos de conversação do modelo e o conhecimento mundial. No entanto, detalhes específicos sobre os conjuntos de dados exatos utilizados não são mencionados explicitamente nas informações disponíveis.
O processo de treinamento envolveu novas técnicas de supervisão combinadas com métodos tradicionais como ajuste fino supervisionado (SFT) e aprendizado de reforço com o feedback humano (RLHF), semelhante aos usados para o GPT-4O [1] [3]. O desenvolvimento do modelo também incluiu técnicas de alinhamento escalável, onde modelos menores geram dados de treinamento de alta qualidade para modelos maiores, aprimorando a direção e a compreensão do modelo de nuances [7].
O pipeline de processamento de dados da OpenAI inclui filtragem rigorosa para manter a qualidade dos dados e mitigar riscos potenciais. Eles empregam processos avançados de filtragem de dados para reduzir o processamento de informações pessoais ao treinar seus modelos. Além disso, eles usam uma combinação de sua API de moderação e classificadores de segurança para impedir o uso de conteúdo prejudicial ou sensível [1].
Embora os conjuntos de dados exatos não sejam detalhados, a abordagem enfatiza uma base de dados ampla e diversificada para apoiar os recursos do GPT-4.5 em tarefas como escrita, programação e resolução de problemas práticos com menos alucinações [1] [3].
Citações:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4-brings-to-ai-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-ow-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1