Bagaimana APE dibandingkan dengan perintah yang direkayasa manusia dalam hal kinerja

1. Kinerja Zero-Shot: Hasil penelusuran menunjukkan bahwa perintah yang dihasilkan APE dapat mengungguli perintah yang dibuat oleh manusia pada berbagai tugas dalam pengaturan zero-shot. Misalnya, pada tolok ukur TruthfulQA, perintah yang dihasilkan APE mencapai skor yang lebih tinggi pada metrik seperti kebenaran dan keinformatifan dibandingkan dengan perintah yang dibuat oleh manusia [1].

2. Pembelajaran Dalam Konteks Beberapa Langkah: Perintah yang dihasilkan APE juga telah terbukti meningkatkan kinerja pembelajaran beberapa langkah dalam konteks model bahasa dibandingkan dengan perintah yang dibuat oleh manusia. Hasil pencarian menyebutkan bahwa APE meningkatkan kinerja beberapa tembakan pada 21 dari 24 tugas induksi instruksi [1].

3. Penalaran dan Pemikiran Logis: Salah satu contoh penting adalah bahwa APE mampu menemukan perintah "rantai pemikiran" umum yang lebih baik daripada perintah "Mari kita berpikir langkah demi langkah" yang direkayasa manusia dari pekerjaan sebelumnya. Prompt yang dihasilkan APE ini menghasilkan peningkatan kinerja pada tolok ukur penalaran matematika seperti MultiArith dan GSM8K [1][3].

4. Luasnya Tugas: Hasil penelusuran menunjukkan bahwa perintah yang dihasilkan APE mampu menyamai atau mengungguli perintah manusia dalam berbagai tugas, termasuk pemahaman bahasa, pemahaman bacaan, ringkasan, dan berbagai tugas penalaran dari BIG -Patokan bangku [1].

Singkatnya, keunggulan utama APE tampaknya adalah kemampuannya untuk secara otomatis menghasilkan perintah yang lebih efektif dibandingkan perintah yang dibuat oleh manusia dalam beragam tugas dan tolok ukur, baik dalam pengaturan zero-shot maupun multiple-shot. Pendekatan rekayasa prompt otomatis tampaknya membuka kemampuan baru dalam model bahasa besar yang melampaui apa yang dapat dicapai melalui desain prompt manual.