Otsingutulemuste põhjal on peamised leiud selle kohta, kuidas automaatne viipade projekteerimine (APE) on võrreldav inimese loodud viipadega:
1. Nullpildi jõudlus: otsingutulemused näitavad, et APE loodud viipade toimivus ületab inimeste loodud viipasid mitmesuguste ülesannete puhul null-võtte seadistuses. Näiteks saavutasid TruthfulQA etalonil APE loodud juhised kõrgemad tulemused selliste mõõdikute osas, nagu tõepärasus ja informatiivsus, võrreldes inimeste loodud viipadega [1].
2. Kontekstisisene õpe Kontekstisisene õpe**: on näidatud, et APE loodud juhised parandavad keelemudelite kontekstis õppimist, võrreldes inimese loodud viipadega. Otsingutulemustes mainitakse, et APE parandas mõne võttega jõudlust 21-s 24-st juhiste sisestamise ülesandest [1].
3. Põhjendus ja loogiline mõtlemine: Üks tähelepanuväärne näide on see, et APE suutis avastada parema üldise "mõtteahela" viipe kui inimeste poolt loodud "Mõtleme samm-sammult" viipe varasemast tööst. See APE loodud viip tõi kaasa parema jõudluse matemaatika arutluskäikudel, nagu MultiArith ja GSM8K [1][3].
4. ülesannete laius: otsingutulemused näitavad, et APE loodud viibad suutsid paljude ülesannete puhul, sealhulgas keele mõistmise, lugemise mõistmise, kokkuvõtete tegemise ja BIGi mitmete arutlusülesannete puhul inimese viipasid vastendada või ületada - Võrdlusnäitaja [1].
Kokkuvõttes näib, et APE peamine eelis on selle võime automaatselt genereerida viipasid, mis on tõhusamad kui inimese loodud juhised erinevate ülesannete ja võrdlusnäitajate puhul, nii null- kui ka mõne võttega seadetes. Näib, et automatiseeritud kiire inseneri lähenemine avab suurtes keelemudelites uued võimalused, mis ületavad käsitsi viipekujunduse abil saavutatavaid.
Tsitaadid:[1] https://sites.google.com/view/automatic-prompt-engineer
[2] https://github.com/keirp/automatic_prompt_engineer
[3] https://www.promptingguide.ai/techniques/ape
[4] https://futureskillsacademy.com/blog/automatic-prompt-engineering-ape/
[5] https://blog.gopenai.com/unleashing-the-power-of-ai-to-self-generate-prompts-a-dive-into-the-automatic-prompt-engineer-d87f2db83f56