GPT-4.5 đã được đào tạo trên một bộ bộ dữ liệu đa dạng, bao gồm hỗn hợp dữ liệu có sẵn công khai, dữ liệu độc quyền từ quan hệ đối tác dữ liệu và bộ dữ liệu tùy chỉnh được phát triển trong nhà. Các bộ dữ liệu này đóng góp chung vào khả năng đàm thoại mạnh mẽ của mô hình và kiến thức thế giới. Tuy nhiên, chi tiết cụ thể về các bộ dữ liệu chính xác được sử dụng không được đề cập rõ ràng trong các thông tin có sẵn.
Quá trình đào tạo liên quan đến các kỹ thuật giám sát mới kết hợp với các phương pháp truyền thống như tinh chỉnh được giám sát (SFT) và học tập củng cố từ phản hồi của con người (RLHF), tương tự như các phương pháp được sử dụng cho GPT-4O [1] [3]. Sự phát triển của mô hình cũng bao gồm các kỹ thuật căn chỉnh có thể mở rộng, trong đó các mô hình nhỏ hơn tạo ra dữ liệu đào tạo chất lượng cao cho các mô hình lớn hơn, tăng cường khả năng lái của mô hình về sắc thái [7].
Đường ống xử lý dữ liệu của Openai bao gồm lọc nghiêm ngặt để duy trì chất lượng dữ liệu và giảm thiểu rủi ro tiềm ẩn. Họ sử dụng các quy trình lọc dữ liệu nâng cao để giảm xử lý thông tin cá nhân khi đào tạo các mô hình của họ. Ngoài ra, họ sử dụng kết hợp API kiểm duyệt và các phân loại an toàn để ngăn chặn việc sử dụng nội dung có hại hoặc nhạy cảm [1].
Mặc dù các bộ dữ liệu chính xác không chi tiết, cách tiếp cận nhấn mạnh một nền tảng dữ liệu rộng và đa dạng để hỗ trợ các khả năng của GPT-4.5 trong các nhiệm vụ như viết, lập trình và giải quyết các vấn đề thực tế với ít ảo giác hơn [1] [3].
Trích dẫn:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
.
[3] https://www.lesswrong.com/posts/fqAJGqcPmgEHKoEE6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/everything-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[8] https://arxiv.org/html/2404.07840v1