APE เปรียบเทียบกับข้อความแจ้งที่ออกแบบโดยมนุษย์ในแง่ของประสิทธิภาพอย่างไร

1. ประสิทธิภาพ Zero-Shot: ผลการค้นหาระบุว่าข้อความเตือนที่สร้างโดย APE มีประสิทธิภาพเหนือกว่าข้อความแจ้งที่ออกแบบโดยมนุษย์ในงานต่างๆ มากมายในการตั้งค่า Zero-Shot ตัวอย่างเช่น ในเกณฑ์มาตรฐาน TruthfulQA ข้อความแจ้งที่ APE สร้างขึ้นได้รับคะแนนที่สูงกว่าในด้านเมตริก เช่น ความจริงใจและข้อมูล เมื่อเปรียบเทียบกับข้อความแจ้งที่มนุษย์สร้างขึ้น [1]

2. การเรียนรู้ในบริบทเพียงไม่กี่ช็อต: ข้อความแจ้งที่สร้างโดย APE ยังได้รับการแสดงเพื่อปรับปรุงประสิทธิภาพการเรียนรู้ในบริบทไม่กี่ช็อตของโมเดลภาษาเมื่อเปรียบเทียบกับข้อความแจ้งที่ออกแบบโดยมนุษย์ ผลการค้นหาระบุว่า APE ปรับปรุงประสิทธิภาพการทำงานไม่กี่ช็อตในงานปฐมนิเทศคำสั่ง 21 งานจาก 24 งาน [1]

3. การใช้เหตุผลและการคิดเชิงตรรกะ: ตัวอย่างหนึ่งที่โดดเด่นคือ APE สามารถค้นพบพร้อมท์ "สายโซ่แห่งความคิด" โดยทั่วไปได้ดีกว่าข้อความ "ลองคิดดูทีละขั้นตอน" ที่ออกแบบโดยมนุษย์จากงานก่อนหน้านี้ ข้อความแจ้งที่สร้างโดย APE นี้นำไปสู่การปรับปรุงประสิทธิภาพในเกณฑ์มาตรฐานการใช้เหตุผลทางคณิตศาสตร์ เช่น MultiArith และ GSM8K [1] [3]

4. ความกว้างของงาน: ผลการค้นหาระบุว่าข้อความแจ้งที่สร้างโดย APE สามารถจับคู่หรือมีประสิทธิภาพเหนือกว่าข้อความแจ้งของมนุษย์ในงานที่หลากหลาย รวมถึงความเข้าใจภาษา การอ่านเพื่อความเข้าใจ การสรุป และงานการให้เหตุผลต่างๆ จาก BIG -เกณฑ์มาตรฐาน [1]

โดยสรุป ข้อได้เปรียบที่สำคัญของ APE ดูเหมือนจะเป็นความสามารถในการสร้างข้อความแจ้งที่มีประสิทธิภาพมากกว่าข้อความที่มนุษย์สร้างขึ้นโดยอัตโนมัติในชุดงานและการวัดประสิทธิภาพที่หลากหลาย ทั้งในการตั้งค่าภาพเป็นศูนย์และภาพไม่กี่ครั้ง แนวทางวิศวกรรมพร้อมท์แบบอัตโนมัติดูเหมือนจะปลดล็อกความสามารถใหม่ในโมเดลภาษาขนาดใหญ่ ซึ่งเหนือกว่าสิ่งที่สามารถทำได้ผ่านการออกแบบพร้อมท์แบบแมนนวล