Hvordan sammenligner APE sig med menneskeskabte prompter med hensyn til ydeevne

1. Zero-Shot Performance: Søgeresultaterne indikerer, at APE-genererede prompter kan overgå menneskeskabte prompter på en række forskellige opgaver i en nul-shot indstilling. For eksempel opnåede de APE-genererede prompter på TruthfulQA-benchmarken højere score på målinger som sandfærdighed og informativitet sammenlignet med de menneskeskabte prompter [1].

2. Few-Shot In-Context Learning: APE-genererede prompter har også vist sig at forbedre den få-shot in-context læring ydeevne af sprogmodeller sammenlignet med menneskeskabte prompter. Søgeresultaterne nævner, at APE forbedrede få-skuds ydeevne på 21 ud af 24 instruktions-induktionsopgaver [1].

3. Ræsonnere og logisk tænkning: Et bemærkelsesværdigt eksempel er, at APE var i stand til at opdage en bedre generel "tankekæde"-prompt end den menneskeskabte "Lad os tænke trin for trin"-prompt fra tidligere arbejde. Denne APE-genererede prompt førte til forbedret ydeevne på matematiske ræsonnement benchmarks som MultiArith og GSM8K [1][3].

4. Bredde af opgaver: Søgeresultaterne indikerer, at APE-genererede prompter var i stand til at matche eller udkonkurrere menneskelige prompter på en lang række opgaver, herunder sprogforståelse, læseforståelse, opsummering og forskellige ræsonnementopgaver fra BIG -Bench-benchmark [1].

Sammenfattende ser den vigtigste fordel ved APE ud til at være dens evne til automatisk at generere prompter, der er mere effektive end menneskeskabte på tværs af en række forskellige opgaver og benchmarks, både i nul-shot og få-shot-indstillinger. Den automatiserede prompt engineering-tilgang ser ud til at låse op for nye muligheder i store sprogmodeller, der overgår, hvad der kan opnås gennem manuel promptdesign.