GPT-4.5 ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลที่หลากหลายรวมถึงการผสมผสานของข้อมูลที่เปิดเผยต่อสาธารณะข้อมูลที่เป็นกรรมสิทธิ์จากการเป็นหุ้นส่วนข้อมูลและชุดข้อมูลที่กำหนดเองที่พัฒนาขึ้นภายใน บริษัท ชุดข้อมูลเหล่านี้มีส่วนร่วมในความสามารถในการสนทนาที่แข็งแกร่งของโมเดลและความรู้ระดับโลก อย่างไรก็ตามรายละเอียดเฉพาะเกี่ยวกับชุดข้อมูลที่แน่นอนที่ใช้ไม่ได้กล่าวถึงอย่างชัดเจนในข้อมูลที่มีอยู่
กระบวนการฝึกอบรมที่เกี่ยวข้องกับเทคนิคการกำกับดูแลใหม่รวมกับวิธีการดั้งเดิมเช่นการปรับแต่งการปรับแต่ง (SFT) และการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) คล้ายกับที่ใช้สำหรับ GPT-4O [1] [3] การพัฒนาของแบบจำลองยังรวมถึงเทคนิคการจัดตำแหน่งที่ปรับขนาดได้ซึ่งโมเดลขนาดเล็กสร้างข้อมูลการฝึกอบรมคุณภาพสูงสำหรับรุ่นที่มีขนาดใหญ่ขึ้นเพิ่มความสามารถในการรวบรวมและความเข้าใจของความแตกต่างของความแตกต่าง [7]
ไปป์ไลน์การประมวลผลข้อมูลของ OpenAI รวมถึงการกรองอย่างเข้มงวดเพื่อรักษาคุณภาพข้อมูลและลดความเสี่ยงที่อาจเกิดขึ้น พวกเขาใช้กระบวนการกรองข้อมูลขั้นสูงเพื่อลดการประมวลผลข้อมูลส่วนบุคคลเมื่อฝึกอบรมแบบจำลองของพวกเขา นอกจากนี้พวกเขายังใช้การผสมผสานของ API และตัวแยกประเภทความปลอดภัยเพื่อป้องกันการใช้เนื้อหาที่เป็นอันตรายหรือละเอียดอ่อน [1]
ในขณะที่ชุดข้อมูลที่แน่นอนไม่ได้มีรายละเอียดวิธีการเน้นพื้นฐานข้อมูลที่หลากหลายและหลากหลายเพื่อรองรับความสามารถของ GPT-4.5 ในงานเช่นการเขียนการเขียนโปรแกรมและการแก้ปัญหาการปฏิบัติที่มีภาพหลอนน้อยลง [1] [3]
การอ้างอิง:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://towardsdatascience.com/what-gpt-4-brings-to-the-ai-table-74e392a32ac3/
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.chatbase.co/blog/gpt-5
[5] https://www.wired.com/story/openai-gpt-45/
[6] https://www.datacamp.com/blog/eveything-we-know-about-gpt-5
[7] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-his-model-is
[8] https://arxiv.org/html/2404.07840v1