Ako je na tom APE v porovnaní s výzvami vytvorenými ľuďmi z hľadiska výkonu

1. Výkon nulového záberu: Výsledky vyhľadávania naznačujú, že výzvy generované APE môžu prekonať výzvy vytvorené človekom pri rôznych úlohách pri nastavení nulového výstrelu. Napríklad v teste TruthfulQA dosiahli výzvy generované APE vyššie skóre v metrikách, ako je pravdivosť a informatívnosť, v porovnaní s výzvami vytvorenými ľuďmi [1].

2. Niekoľkokrát kontextové učenie: Ukázalo sa tiež, že výzvy generované pomocou APE zlepšujú výkonnosť jazykových modelov pri učení sa niekoľkých snímok v kontexte v porovnaní s výzvami vytvorenými ľuďmi. Vo výsledkoch vyhľadávania sa uvádza, že APE zlepšilo niekoľkonásobný výkon pri 21 z 24 úloh indukcie inštrukcií [1].

3. Uvažovanie a logické myslenie: Jedným z pozoruhodných príkladov je, že APE dokázalo objaviť lepšiu všeobecnú „reťazec myslenia“ ako ľudsky skonštruovanú výzvu „Poďme myslieť krok za krokom“ z predchádzajúcej práce. Táto výzva vygenerovaná APE viedla k zlepšeniu výkonu v porovnávacích testoch matematického uvažovania, ako sú MultiArith a GSM8K [1][3].

4. Šírka úloh: Výsledky vyhľadávania naznačujú, že výzvy generované APE sa dokázali zhodovať s ľudskými výzvami alebo ich predbehli pri širokej škále úloh vrátane porozumenia jazyku, čítania s porozumením, sumarizácie a rôznych úloh na uvažovanie od BIG - Bench benchmark [1].

Stručne povedané, kľúčovou výhodou APE sa zdá byť jeho schopnosť automaticky generovať výzvy, ktoré sú efektívnejšie ako tie, ktoré vytvoril človek, v rámci rôznorodého súboru úloh a benchmarkov, a to ako v nastaveniach nulového, tak aj niekoľkých záberov. Zdá sa, že prístup automatizovaného rýchleho inžinierstva odomyká nové možnosti vo veľkých jazykových modeloch, ktoré prekonávajú to, čo je možné dosiahnuť pomocou manuálneho rýchleho návrhu.