Hvordan er APE sammenlignet med menneskeskapte spørsmål når det gjelder ytelse

1. Zero-Shot-ytelse: Søkeresultatene indikerer at APE-genererte meldinger kan overgå menneskeskapte meldinger på en rekke oppgaver i en null-shot-innstilling. For eksempel, på TruthfulQA-referansen, oppnådde de APE-genererte forespørslene høyere score på beregninger som sannhet og informativitet sammenlignet med menneskeskapte forespørsler [1].

2. Few-Shot In-Context Learning: APE-genererte prompter har også vist seg å forbedre den få-shot in-context læringsytelsen til språkmodeller sammenlignet med menneskeskapte ledetekster. Søkeresultatene nevner at APE forbedret ytelsen med få skudd på 21 av 24 instruksjonsinduksjonsoppgaver [1].

3. Resonnering og logisk tenkning: Et bemerkelsesverdig eksempel er at APE var i stand til å oppdage en bedre generell "tankekjede"-prompt enn den menneskeskapte "La oss tenke steg for steg"-prompten fra tidligere arbeid. Denne APE-genererte ledeteksten førte til forbedret ytelse på matematiske resonnementer som MultiArith og GSM8K [1][3].

4. Oppgavebredde: Søkeresultatene indikerer at APE-genererte spørsmål var i stand til å matche eller utkonkurrere menneskelige spørsmål på et bredt spekter av oppgaver, inkludert språkforståelse, leseforståelse, oppsummering og ulike resonneringsoppgaver fra BIG - Benchmark [1].

Oppsummert ser den viktigste fordelen med APE ut til å være dens evne til automatisk å generere meldinger som er mer effektive enn menneskeskapte på tvers av et mangfoldig sett med oppgaver og benchmarks, både i null-skudd og få-skudd-innstillinger. Den automatiserte prompt engineering-tilnærmingen ser ut til å låse opp nye muligheter i store språkmodeller som overgår det som kan oppnås gjennom manuell promptdesign.