Cum se compară APE cu solicitările create de om în ceea ce privește performanța

1. Performanță zero-shot: rezultatele căutării indică faptul că solicitările generate de APE pot depăși solicitările create de om pentru o varietate de sarcini într-o setare zero-shot. De exemplu, pe benchmark-ul TruthfulQA, prompturile generate de APE au obținut scoruri mai mari la valori precum veridicitatea și caracterul informativ, comparativ cu solicitările create de om [1].

2. Învățare în context cu puține fotografii: s-a demonstrat, de asemenea, că prompturile generate de APE îmbunătățesc performanța de învățare în context cu câteva fotografii ale modelelor de limbaj, în comparație cu solicitările create de om. Rezultatele căutării menționează că APE a îmbunătățit performanța la câteva lovituri la 21 din 24 de sarcini de instruire [1].

3. Raționament și gândire logică: Un exemplu notabil este că APE a reușit să descopere un prompt „lanț de gândire” general mai bun decât promptul „Hai să gândim pas cu pas” creat de oameni din munca anterioară. Acest prompt generat de APE a condus la o performanță îmbunătățită pe benchmark-uri de raționament matematic, cum ar fi MultiArith și GSM8K [1][3].

4. Largimea sarcinilor: rezultatele căutării indică faptul că solicitările generate de APE au putut să se potrivească sau să depășească solicitările umane pentru o gamă largă de sarcini, inclusiv înțelegerea limbajului, înțelegerea lecturii, rezumarea și diverse sarcini de raționament din BIG - Benchmark [1].

Pe scurt, avantajul cheie al APE pare să fie capacitatea sa de a genera automat solicitări care sunt mai eficiente decât cele create de om într-un set divers de sarcini și benchmark-uri, atât în ​​setările zero-shot, cât și în setările cu câteva inregistrări. Abordarea automatizată de inginerie promptă pare să deblocheze noi capabilități în modelele de limbaj mari, care depășesc ceea ce poate fi realizat prin proiectarea manuală promptă.