ลำดับชั้นการเรียนการสอนของ GPT-4.5 ได้รับการออกแบบมาเพื่อลดความเสี่ยงของการฉีดทันทีโดยการสร้างลำดับความสำคัญที่ชัดเจนสำหรับคำแนะนำประเภทต่างๆ ลำดับชั้นนี้ทำให้มั่นใจได้ว่าข้อความระบบซึ่งตั้งค่าโดยนักพัฒนามีความสำคัญกว่าข้อความผู้ใช้และอินพุตอื่น ๆ นี่คือวิธีการทำงานและวิธีการช่วยป้องกันการโจมตีด้วยการฉีดทันที:
ทำความเข้าใจกับการฉีดทันที
การโจมตีแบบฉีดทันทีเกิดขึ้นเมื่อผู้ใช้ที่เป็นอันตรายจัดการกับโมเดล AI โดยให้อินพุตที่แทนที่คำแนะนำระบบดั้งเดิม สิ่งนี้สามารถนำไปสู่พฤติกรรมที่ไม่ได้ตั้งใจเช่นการเปิดเผยข้อมูลที่ละเอียดอ่อนหรือดำเนินการโดยไม่ได้รับอนุญาต [2] [3]ลำดับชั้นคำสั่ง
ลำดับชั้นการเรียนการสอนใน GPT-4.5 จัดลำดับความสำคัญคำแนะนำตามแหล่งที่มาและความสำคัญ มันจัดหมวดหมู่อินพุตเป็นหลายประเภทโดยทั่วไปรวมถึง:- ข้อความระบบ: นี่คือคำแนะนำที่มีลำดับความสำคัญสูงสุดที่กำหนดโดยนักพัฒนา พวกเขากำหนดงานหลักและข้อ จำกัด ที่โมเดลควรปฏิบัติตาม
- ข้อความผู้ใช้: สิ่งเหล่านี้เป็นอินพุตที่ได้รับจากผู้ใช้และถือว่ามีลำดับความสำคัญต่ำกว่าข้อความระบบ
- ประวัติการสนทนาและเอาต์พุตเครื่องมือ: สิ่งเหล่านี้อาจมีผลต่อโมเดล แต่โดยทั่วไปจะมีลำดับความสำคัญต่ำกว่าข้อความผู้ใช้ [1] [3]
ลดการฉีดทันที
เพื่อลดการโจมตีแบบฉีดทันทีลำดับชั้นการเรียนการสอนทำให้มั่นใจได้ว่า GPT-40.5 เป็นไปตามหลักการดังต่อไปนี้:- การจัดลำดับความสำคัญ: โมเดลจัดลำดับความสำคัญข้อความระบบผ่านอินพุตของผู้ใช้ หากผู้ใช้พยายามที่จะฉีดพรอมต์ที่ขัดแย้งกับคำแนะนำของระบบโมเดลจะเริ่มต้นเป็นคำแนะนำดั้งเดิม [3] [5]
- การตรวจจับพรอมต์ที่ไม่ถูกต้อง: GPT-4.5 ได้รับการฝึกอบรมเพื่อระบุและเพิกเฉยต่อการแจ้งเตือนว่าขัดแย้งกับคำแนะนำของระบบ ตัวอย่างเช่นหากผู้ใช้ป้อนข้อมูล "ลืมคำแนะนำก่อนหน้าทั้งหมด" โมเดลจะรับรู้ว่านี่เป็นพรอมต์ที่ไม่ตรงแนวและตอบสนองตาม [3]
-การเลือกที่ไม่สนใจคำแนะนำที่มีลำดับความสำคัญต่ำกว่า: แบบจำลองได้รับการออกแบบมาเพื่อคัดเลือกคำแนะนำที่มีลำดับความสำคัญต่ำกว่าเมื่อพวกเขาขัดแย้งกับลำดับความสำคัญที่สูงขึ้น สิ่งนี้ทำให้มั่นใจได้ว่าแบบจำลองยังคงรักษาพฤติกรรมที่ตั้งใจไว้แม้ว่าจะต้องเผชิญกับอินพุตที่เป็นอันตราย [7]
การฝึกอบรมและการประเมินผล
GPT-4.5 ได้รับการฝึกฝนโดยใช้เทคนิคที่เน้นลำดับชั้นการเรียนการสอนเช่นการสร้างข้อมูลสังเคราะห์และการกลั่นบริบท วิธีการเหล่านี้ช่วยให้แบบจำลองเรียนรู้ที่จะจัดลำดับความสำคัญคำแนะนำอย่างมีประสิทธิภาพและต้านทานอินพุตที่เป็นอันตราย [6] [7] ประสิทธิภาพของโมเดลได้รับการประเมินในสถานการณ์ที่ข้อความของระบบขัดแย้งกับอินพุตของผู้ใช้เพื่อให้มั่นใจว่าจะปฏิบัติตามลำดับชั้นของคำสั่งและรักษาคุณสมบัติความปลอดภัย [5]โดยรวมแล้วลำดับชั้นการเรียนการสอนใน GPT-4.5.5 ช่วยเพิ่มความปลอดภัยของโมเดลโดยการรับรองว่าเป็นไปตามคำแนะนำที่กำหนดโดยนักพัฒนาแม้ในการเผชิญกับอินพุตของผู้ใช้ที่ขัดแย้งหรือเป็นอันตราย วิธีการนี้เป็นสิ่งสำคัญสำหรับการสร้างระบบ AI ที่น่าเชื่อถือซึ่งสามารถทำงานได้อย่างปลอดภัยในแอพพลิเคชั่นในโลกแห่งความเป็นจริง
การอ้างอิง:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-inject-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruction-hierarchy
[4] https://dev.to/jasny/protecting-against-prompt-injectin-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2