APE so sánh như thế nào với lời nhắc do con người tạo ra về mặt hiệu suất

1. Hiệu suất không cần bắn: Kết quả tìm kiếm cho thấy rằng lời nhắc do APE tạo có thể hoạt động tốt hơn lời nhắc do con người thiết kế trong nhiều nhiệm vụ khác nhau trong cài đặt không bắn. Ví dụ: trên điểm chuẩn TruthfulQA, lời nhắc do APE tạo đã đạt được điểm cao hơn về các chỉ số như tính trung thực và tính cung cấp thông tin so với lời nhắc do con người tạo ra [1].

2. Học trong ngữ cảnh với vài lần bắn: Lời nhắc do APE tạo cũng đã được chứng minh là cải thiện hiệu suất học tập trong ngữ cảnh với vài lần bắn của các mô hình ngôn ngữ so với lời nhắc do con người tạo ra. Kết quả tìm kiếm đề cập rằng APE đã cải thiện hiệu suất vài lần bắn trên 21 trong số 24 nhiệm vụ hướng dẫn [1].

3. Lý luận và tư duy logic: Một ví dụ đáng chú ý là APE đã có thể khám phá ra lời nhắc "chuỗi suy nghĩ" tổng quát tốt hơn lời nhắc "Hãy suy nghĩ từng bước" do con người thiết kế từ công việc trước đó. Lời nhắc do APE tạo này đã giúp cải thiện hiệu suất trên các điểm chuẩn lý luận toán học như MultiArith và GSM8K [1] [3].

4. Độ rộng của nhiệm vụ: Kết quả tìm kiếm cho thấy lời nhắc do APE tạo có thể khớp hoặc vượt trội hơn lời nhắc của con người trong nhiều nhiệm vụ, bao gồm hiểu ngôn ngữ, đọc hiểu, tóm tắt và các nhiệm vụ lý luận khác nhau từ BIG - Bench benchmark [1].

Tóm lại, ưu điểm chính của APE dường như là khả năng tự động tạo ra các lời nhắc hiệu quả hơn những lời nhắc do con người tạo ra trên một loạt nhiệm vụ và điểm chuẩn đa dạng, cả ở cài đặt không chụp và ít lần chụp. Phương pháp tiếp cận kỹ thuật nhắc nhở tự động dường như mở ra những khả năng mới trong các mô hình ngôn ngữ lớn vượt xa những gì có thể đạt được thông qua thiết kế nhắc nhở thủ công.