Miten APE verrataan ihmisen tekemiin kehotteisiin suorituskyvyn suhteen?

1. Zero-Shot Performance: Hakutulokset osoittavat, että APE:n luomat kehotteet voivat ylittää ihmisen suunnittelemat kehotteet useissa tehtävissä nolla-asetuksella. Esimerkiksi TruthfulQA-vertailussa APE:n luomat kehotteet saavuttivat korkeampia pisteitä sellaisissa mittareissa kuin totuudenmukaisuus ja informatiivisuus verrattuna ihmisen tekemiin kehotteisiin [1].

2. Few-Shot In-Context Learning: APE:n luomien kehotteiden on myös osoitettu parantavan kielimallien muutaman otoksen kontekstin sisäistä oppimista verrattuna ihmisen kehittämiin kehotteisiin. Hakutuloksissa mainitaan, että APE paransi muutaman laukauksen suorituskykyä 21:ssä 24:stä käskyn induktiotehtävästä [1].

3. Päättely ja looginen ajattelu: Yksi merkittävä esimerkki on, että APE pystyi löytämään paremman yleisen "ajatteluketjun" kehotteen kuin ihmisen suunnittelema "Ajattele askel askeleelta" -kehote aiemmasta työstä. Tämä APE:n luoma kehote paransi suorituskykyä matemaattisissa päättelyn vertailuarvoissa, kuten MultiArithin ja GSM8K:n [1][3].

4. Tehtävien laajuus: Hakutulokset osoittavat, että APE:n luomat kehotteet pystyivät vastaamaan tai ylittämään ihmisen kehotteet monissa tehtävissä, mukaan lukien kielen ymmärtäminen, luetun ymmärtäminen, yhteenveto ja erilaiset päättelytehtävät BIG:stä - Benchmark [1].

Yhteenvetona voidaan todeta, että APE:n tärkein etu näyttää olevan sen kyky luoda automaattisesti kehotteita, jotka ovat tehokkaampia kuin ihmisen tekemät kehotteet erilaisissa tehtävissä ja vertailuarvoissa sekä nolla- että muutaman laukauksen asetuksissa. Automaattinen nopea suunnittelutapa näyttää avaavan uusia ominaisuuksia suurissa kielimalleissa, jotka ylittävät sen, mitä voidaan saavuttaa manuaalisella nopealla suunnittelulla.