สำหรับ GPT-4.5, OpenAI ได้พัฒนาเทคนิคการจัดตำแหน่งใหม่ที่ปรับขนาดได้ซึ่งช่วยให้การฝึกอบรมรุ่นที่มีขนาดใหญ่และทรงพลังยิ่งขึ้นโดยใช้ข้อมูลที่ได้จากรุ่นที่เล็กกว่า เทคนิคเหล่านี้ได้รับการออกแบบมาเพื่อปรับปรุงความสามารถของโมเดลในการทำความเข้าใจความต้องการและความตั้งใจของมนุษย์เพิ่มความสามารถในการจัดสรรความแตกต่างและความสามารถในการสนทนาตามธรรมชาติ
เทคนิคการจัดตำแหน่งคีย์
1. การจัดตำแหน่งที่ปรับขนาดได้: วิธีการนี้เกี่ยวข้องกับการใช้โมเดลขนาดเล็กเพื่อสร้างข้อมูลการฝึกอบรมคุณภาพสูงสำหรับรุ่นที่มีขนาดใหญ่ขึ้น วิธีนี้ช่วยเพิ่มความเร็วในกระบวนการฝึกอบรมและปรับปรุงความสามารถของโมเดลในการปฏิบัติตามคำแนะนำที่เหมาะสมยิ่งขึ้น อย่างไรก็ตามมันยังแนะนำความเสี่ยงของการขยายอคติหรือข้อผิดพลาดที่มีอยู่ในรุ่นที่เล็กกว่า [4] [5]
2. การรวมกันของวิธีการดั้งเดิม: GPT-4.5 ได้รับการฝึกฝนโดยใช้การผสมผสานของเทคนิคการกำกับดูแลใหม่พร้อมกับวิธีการดั้งเดิมเช่นการปรับแต่งการปรับแต่ง (SFT) และการเรียนรู้เสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) SFT เกี่ยวข้องกับการเรียนรู้จากตัวอย่างที่มีป้ายกำกับของมนุษย์ซึ่งมีประสิทธิภาพ แต่อาจช้าและมีราคาแพง RLHF จัดอันดับผลลัพธ์ตามความชอบของมนุษย์ซึ่งบางครั้งอาจนำไปสู่การ overfitting ทำให้ AI ระมัดระวังมากเกินไปหรือสร้างสรรค์น้อยลง [4] [5] [7]
3. ความเข้าใจที่เพิ่มขึ้นเกี่ยวกับความต้องการของมนุษย์: เทคนิคการจัดตำแหน่งใหม่มุ่งเน้นไปที่การสอนแบบจำลองความเข้าใจที่มากขึ้นเกี่ยวกับความต้องการและความตั้งใจของมนุษย์ สิ่งนี้มีความสำคัญเนื่องจากแบบจำลองแก้ปัญหาที่ซับซ้อนมากขึ้นและโต้ตอบกับผู้ใช้ในรูปแบบที่เหมาะสมยิ่งขึ้น [1] [3] [5]
ผลกระทบของเทคนิคใหม่
เทคนิคการจัดตำแหน่งใหม่ใน GPT-4.5 ส่งผลให้มีการปรับปรุงหลายอย่าง:
- ปฏิสัมพันธ์ตามธรรมชาติ: ผู้ทดสอบภายในรายงานว่า GPT-4.5 รู้สึกเป็นธรรมชาติและใช้งานง่ายมากขึ้นโดยเฉพาะอย่างยิ่งในการจัดการการสืบค้นที่มีค่าทางอารมณ์ มันสามารถให้คำแนะนำความยุ่งยากกระจายหรือเพียงแค่ฟังผู้ใช้ตามต้องการ [1] [3]
- สัญชาตญาณและความคิดสร้างสรรค์: โมเดลแสดงให้เห็นถึงสัญชาตญาณและความคิดสร้างสรรค์ที่แข็งแกร่งขึ้นทำให้มันมีประโยชน์อย่างยิ่งสำหรับงานเช่นการเขียนเชิงสร้างสรรค์และการออกแบบ [1] [3]
- ภาพหลอนลดลง: GPT-4.4.5 แสดงภาพหลอนน้อยลงเนื่องจากความก้าวหน้าในการเรียนรู้ที่ไม่ได้รับการดูแลซึ่งช่วยปรับปรุงความแม่นยำของโมเดลโลกและการคิดแบบเชื่อมโยง [5] [6]
โดยรวมแล้วเทคนิคเหล่านี้มีจุดมุ่งหมายเพื่อให้ GPT-4.5 ตอบสนองมากขึ้นมีประสิทธิภาพและสอดคล้องกับความตั้งใจของผู้ใช้ในขณะเดียวกันก็จัดการกับความท้าทายบางอย่างที่เกี่ยวข้องกับการปรับขนาดแบบจำลองภาษาขนาดใหญ่
การอ้างอิง:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-his-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/