Kuo APE skiriasi nuo žmogaus sukurtų raginimų našumo požiūriu

1. Nulinis našumas: paieškos rezultatai rodo, kad APE sugeneruoti raginimai gali pranokti žmogaus sukurtus raginimus atliekant įvairias užduotis nulinio kadro nustatyme. Pavyzdžiui, remiantis TruthfulQA etalonu, APE sugeneruoti raginimai pasiekė aukštesnius balus pagal tokius rodiklius kaip teisingumas ir informatyvumas, palyginti su žmogaus sukurtais raginimais [1].

2. Kelių kadrų kontekstinis mokymasis: taip pat įrodyta, kad APE sukurti raginimai pagerina kalbų modelių mokymosi kontekste veiksmingumą, palyginti su žmogaus sukurtais raginimais. Paieškos rezultatuose minima, kad APE pagerino kelių kadrų našumą atliekant 21 iš 24 instrukcijų įvedimo užduočių [1].

3. Samprotavimas ir loginis mąstymas: Vienas ryškus pavyzdys yra tai, kad APE sugebėjo atrasti geresnį bendrą „minčių grandinės“ raginimą nei žmogaus sukurtas raginimas „Galvokime žingsnis po žingsnio“ iš ankstesnio darbo. Šis APE sugeneruotas raginimas pagerino matematinio samprotavimo etalonų, tokių kaip MultiArith ir GSM8K, našumą [1][3].

4. Užduočių gausa: paieškos rezultatai rodo, kad APE sugeneruoti raginimai atitiko arba pranoksta žmogaus raginimus atliekant įvairias užduotis, įskaitant kalbos supratimą, skaitymo supratimą, apibendrinimą ir įvairias samprotavimo užduotis iš BIG. - Lyginamasis standartas [1].

Apibendrinant galima teigti, kad pagrindinis APE pranašumas yra galimybė automatiškai generuoti užklausas, kurios yra efektyvesnės nei žmogaus sukurtos įvairiose užduočių ir etalonų grupėse, tiek nulinio, tiek kelių kadrų nustatymuose. Atrodo, kad automatizuotas greitas inžinerijos metodas atskleidžia naujas didelių kalbų modelių galimybes, kurios pranoksta tai, ką galima pasiekti naudojant rankinį greitą projektavimą.