Hogyan hasonlítható össze az APE az ember által tervezett utasításokkal a teljesítmény tekintetében?

1. Zero-Shot Performance: A keresési eredmények azt mutatják, hogy az APE által generált promptok számos feladatnál felülmúlják az emberi tervezésű promptokat nulla lövés esetén. Például a TruthfulQA benchmarkon az APE által generált promptok magasabb pontszámot értek el az olyan mérőszámok tekintetében, mint az igazságosság és az informatívság, mint az ember által készített felszólítások [1].

2. Kevés felvételes kontextuson belüli tanulás: Az APE által generált felszólításokról kimutatták, hogy javítják a nyelvi modellek néhány felvételes kontextuson belüli tanulási teljesítményét az ember által kifejlesztett utasításokhoz képest. A keresési eredmények megemlítik, hogy az APE 24 utasítás-indukciós feladat közül 21-ben javította a néhány lépéses teljesítményt [1].

3. Érvelés és logikus gondolkodás: Az egyik figyelemre méltó példa az, hogy az APE jobb általános "gondolatlánc" felszólítást tudott felfedezni, mint az ember által tervezett "Gondolkozzunk lépésről lépésre" felszólítás korábbi munkáiból. Ez az APE által generált felszólítás jobb teljesítményt eredményezett az olyan matematikai érvelési benchmarkokon, mint a MultiArith és a GSM8K [1][3].

4. A feladatok széles skálája: A keresési eredmények azt mutatják, hogy az APE által generált felszólítások a feladatok széles skáláján képesek voltak megfelelni vagy felülmúlni az emberi felszólításokat, beleértve a nyelvértést, a szövegértést, az összegzést és a BIG különféle érvelési feladatait. - Bench benchmark [1].

Összefoglalva, úgy tűnik, az APE fő előnye, hogy képes automatikusan generálni olyan promptokat, amelyek hatékonyabbak, mint az ember által létrehozottak, különféle feladatok és benchmarkok során, nulla és néhány felvétel esetén egyaránt. Úgy tűnik, hogy az automatizált azonnali tervezési megközelítés új lehetőségeket nyit meg a nagy nyelvi modellekben, amelyek felülmúlják a kézi azonnali tervezéssel elérhető képességeket.