Kā APE veiktspējas ziņā atšķiras no cilvēka radītām uzvednēm

1. Zero-Shot Performance: meklēšanas rezultāti liecina, ka APE ģenerētās uzvednes var pārspēt cilvēka izstrādātās uzvednes dažādu uzdevumu veikšanai nulles iestatījumā. Piemēram, TruthfulQA etalonā APE ģenerētās uzvednes sasniedza augstākus rādītājus tādās metrikās kā patiesums un informatīvums, salīdzinot ar cilvēka izstrādātajām uzvednēm [1].

2. Konteksta mācīšanās ar dažiem kadriem: ir pierādīts, ka APE ģenerētas uzvednes uzlabo valodu modeļu dažu kadru konteksta apguves veiktspēju, salīdzinot ar cilvēka izstrādātām uzvednēm. Meklēšanas rezultātos minēts, ka APE uzlaboja dažu kadru veiktspēju 21 no 24 instrukciju ievadīšanas uzdevumiem [1].

3. Spriedums un loģiskā domāšana: Viens no ievērojamākajiem piemēriem ir tas, ka APE spēja atklāt labāku vispārīgu "domu ķēdes" uzvedni nekā cilvēka izstrādātā uzvedne "Domāsim soli pa solim" no iepriekšējā darba. Šī APE ģenerētā uzvedne uzlaboja veiktspēju matemātikas spriešanas etalonos, piemēram, MultiArith un GSM8K [1][3].

4. Uzdevumu klāsts: meklēšanas rezultāti liecina, ka APE ģenerētās uzvednes spēja saskaņot vai pārspēt cilvēka uzvednes, veicot dažādus uzdevumus, tostarp valodas izpratni, lasīšanas izpratni, kopsavilkumu un dažādus argumentācijas uzdevumus no BIG. - Etalona kritērijs [1].

Rezumējot, šķiet, ka APE galvenā priekšrocība ir tā spēja automātiski ģenerēt uzvednes, kas ir efektīvākas nekā cilvēka radītās uzvednes, izmantojot dažādus uzdevumus un etalonus gan nulles, gan dažu kadru iestatījumos. Šķiet, ka automatizētā tūlītējā inženierijas pieeja atbloķē jaunas iespējas lielos valodu modeļos, kas pārsniedz to, ko var sasniegt, izmantojot manuālu tūlītēju dizainu.