Kakšna je zmogljivost APE v primerjavi s pozivi, ki jih je ustvaril človek?

1. Zero-Shot Performance: Rezultati iskanja kažejo, da lahko pozivi, ki jih ustvari APE, prekašajo pozive, ki jih je ustvaril človek, pri različnih opravilih v nastavitvi zero-shot. Na primer, na merilu uspešnosti TruthfulQA so pozivi, ki jih je ustvaril APE, dosegli višje rezultate pri meritvah, kot sta resničnost in informativnost, v primerjavi s pozivi, ki jih je ustvaril človek [1].

2. Nekajkratno učenje v kontekstu: Pokazalo se je tudi, da pozivi, ki jih ustvari APE, izboljšajo zmogljivost jezikovnih modelov pri učenju v kontekstu v primerjavi s pozivi, ki jih ustvari človek. Rezultati iskanja omenjajo, da je APE izboljšal zmogljivost nekaj posnetkov pri 21 od 24 indukcijskih nalog [1].

3. Razmišljanje in logično razmišljanje: Eden pomembnih primerov je, da je APE uspel odkriti boljši splošni poziv "verige misli" kot poziv "Razmišljajmo korak za korakom", ki ga je ustvaril človek iz prejšnjega dela. Ta poziv, ki ga je ustvaril APE, je privedel do izboljšane zmogljivosti pri merilih uspešnosti matematičnega razmišljanja, kot sta MultiArith in GSM8K [1][3].

4. Širina nalog: rezultati iskanja kažejo, da so se pozivi, ki jih je ustvaril APE, lahko ujemali s človeškimi pozivi ali jih prehiteli pri številnih nalogah, vključno z razumevanjem jezika, bralnim razumevanjem, povzemanjem in različnimi nalogami sklepanja iz BIG -Benchmark [1].

Če povzamemo, zdi se, da je ključna prednost APE njegova zmožnost samodejnega ustvarjanja pozivov, ki so učinkovitejši od tistih, ki jih je ustvaril človek, v raznolikem naboru nalog in meril uspešnosti, tako v nastavitvah z ničelnim strelom kot z redkim streljanjem. Zdi se, da pristop avtomatiziranega hitrega inženiringa odpira nove zmogljivosti v velikih jezikovnih modelih, ki presegajo tisto, kar je mogoče doseči z ročnim hitrim načrtovanjem.