Hur jämför APE med humankonstruerade uppmaningar när det gäller prestanda

1. Zero-Shot Performance: Sökresultaten indikerar att APE-genererade prompter kan överträffa mänskligt utformade prompter på en mängd olika uppgifter i en noll-shot-inställning. Till exempel, på TruthfulQA-riktmärket, uppnådde de APE-genererade prompterna högre poäng på mätvärden som sanningsenlighet och informativitet jämfört med de mänskligt skapade prompterna [1].

2. Few-Shot In-Context Learning: APE-genererade prompter har också visat sig förbättra prestandan för inlärning av få skott i sammanhanget för språkmodeller jämfört med mänskligt utformade prompter. Sökresultaten nämner att APE förbättrade prestandan för få skott på 21 av 24 instruktionsuppgifter [1].

3. Resonemang och logiskt tänkande: Ett anmärkningsvärt exempel är att APE kunde upptäcka en bättre allmän "tankekedja"-prompt än den mänskligt konstruerade "Låt oss tänka steg för steg"-prompten från tidigare arbete. Denna APE-genererade prompt ledde till förbättrad prestanda på matematiska resonemangsriktmärken som MultiArith och GSM8K [1][3].

4. Bredd of Tasks: Sökresultaten indikerar att APE-genererade prompter kunde matcha eller överträffa mänskliga prompter på ett brett spektrum av uppgifter, inklusive språkförståelse, läsförståelse, sammanfattning och olika resonemangsuppgifter från BIG -Bänkriktmärke [1].

Sammanfattningsvis verkar den viktigaste fördelen med APE vara dess förmåga att automatiskt generera uppmaningar som är mer effektiva än mänskliga skapade över en mängd olika uppgifter och riktmärken, både i noll- och få-shot-inställningar. Den automatiserade promptteknikmetoden verkar låsa upp nya möjligheter i stora språkmodeller som överträffar vad som kan uppnås genom manuell promptdesign.