ประสิทธิภาพของ GPT-4.5 เปรียบเทียบกับ GPT-4O ในแง่ของภาพหลอนอย่างไร

การลดภาพหลอนใน GPT-4.5

-อัตราการเกิดภาพหลอน: GPT-4.5 มีอัตราการหลอนประมาณ 19% เมื่อทดสอบในชุดข้อมูล PersonQA ซึ่งเป็นการปรับปรุงที่สำคัญมากกว่าอัตราของ GPT-4O ประมาณ 52% [2] [5] การลดลงนี้บ่งชี้ว่า GPT-4.5.5 มีความน่าเชื่อถือมากขึ้นและมีแนวโน้มน้อยกว่าที่จะสร้างข้อมูลที่ไม่ได้มีพื้นฐานในข้อมูลข้อเท็จจริง
-เทคนิคการปรับปรุง: การลดลงของภาพหลอนใน GPT-4.5 นั้นมาจากเทคนิคการกำกับดูแลใหม่รวมกับวิธีการดั้งเดิมเช่นการปรับแต่งการปรับแต่ง (SFT) และการเรียนรู้การเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) [1] วิธีการเหล่านี้ช่วยในการเพิ่มความแม่นยำและความน่าเชื่อถือของแบบจำลอง

การเปรียบเทียบประสิทธิภาพ

-ความแม่นยำ: ในแง่ของความแม่นยำในชุดข้อมูล PersonQA GPT-4.5 ได้รับความแม่นยำสูงกว่า 78%เมื่อเทียบกับ GPT-4O ของ 28%[2] [5] สิ่งนี้ชี้ให้เห็นว่าไม่เพียง แต่ GPT-4.5 ภาพหลอนน้อยลงเท่านั้น แต่ยังให้การตอบสนองที่แม่นยำยิ่งขึ้น
- ความน่าเชื่อถือโดยรวม: อัตราภาพหลอนที่ต่ำกว่าและความแม่นยำที่สูงขึ้นของ GPT-4.5 ทำให้เป็นตัวเลือกที่เชื่อถือได้มากขึ้นสำหรับแอปพลิเคชันที่ต้องการข้อมูลที่แม่นยำและน่าเชื่อถือ อย่างไรก็ตามทั้งสองรุ่นมีการดำเนินการในทำนองเดียวกันในการประเมินบางอย่างเช่นการประเมินความเป็นธรรมและอคติ [5]

โดยสรุป GPT-4.5 มีประสิทธิภาพสูงกว่า GPT-4O ในแง่ของการลดภาพหลอนและความแม่นยำทำให้เป็นตัวเลือกที่เชื่อถือได้มากขึ้นสำหรับงานที่ต้องใช้ข้อมูลที่แม่นยำและเป็นข้อเท็จจริง อย่างไรก็ตามทั้งสองรุ่นมีจุดแข็งและจุดอ่อนของพวกเขาในโดเมนและการประเมินที่แตกต่างกัน

การอ้างอิง:
[1] https://topmostads.com/openai-release-gpt-4-5/
[2] https://assets.ctfassets.net/kftzwdyauwt9/7eadv6oawhhhxlaehuyu7db/64e9f7916d3581ba4b5d0f0a6c5098d1/gpt-4-5_system
[3] https://www.reddit.com/r/openai/comments/1izq37r/gpt45s_low_hallucination_rate_is_a_gamechanger/
[4] https://www.techtarget.com/searchenterpriseai/feature/gpt-4o-vs-gpt-4-how-do-they-compare
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/gpt-4-vs-gpt-4o-hich-is-the-better/746991
[7] https://mashable.com/article/openai-gpt-4-5-release-how-to-try
[8] https://www.techtarget.com/searchenterpriseai/tip/gpt-35-vs-gpt-4-biggest-differences-to-consers