Automaattinen kehotustekniikka (APE) on menetelmä, joka on kehitetty automaattisesti ja valitsemaan luonnolliset kieliohjeet (kehotukset) suurille kielimalleille (LLMS) tehtävän suorituskyvyn parantamiseksi. Se käsittelee ohjeita "ohjelmana", joka on optimoitava etsimällä LLM: n tuottamia opetusehdokkaita, joiden tavoitteena on maksimoida tietyn tehtävän valittu pistemäärä. Valittujen ohjeiden suorituskyky arvioidaan sitten soveltamalla sitä nolla-ampuma-tehtäviin toisella LLM: llä. Tämä lähestymistapa on ristiriidassa perinteisen nopean tekniikan kanssa, jossa ihmiset ovat manuaalisesti muotoilemassa.
APE: n on osoitettu ylittävän aikaisemmat LLM-lähtötilanteen kehotteet merkittävällä marginaalilla ja saavuttavan paremman tai vertailukelpoisen suorituskyvyn ihmisen tuottamiin ohjeisiin useiden vertailuarvojen välillä. Esimerkiksi kokeet osoittavat, että APE ylittää ihmisen suunnittelemat kehotteet kaikille mittareille, mukaan lukien totuudenmukaisuus ja informatiivisuus asetettuihin tehtäviin. 24-ohjeiden induktiotehtävissä ja 21 kuratoidun ison pentujen tehtävissä apinan tuotetut kehotukset olivat parempia tai verrattavissa vastaavasti 19 ja 17 tehtäviin ihmisen kehotuksiin, mikä osoittaa voimakkaan yleistymisen ja suorituskyvyn johdonmukaisuuden.
APE: n prosessiin sisältyy monipuolisen ehdokaskehotuksen luominen alkuperäisten syöttölähtö -esimerkkien perusteella, mitä seuraa näiden ehdokkaiden pisteytys niiden tehokkuuden mukaan. Tähän sisältyy usein automaattinen arviointi oikeellisuudesta, informatiivisuudesta tai totuudenmukaisuudesta. Tietyt kriteerit valitaan ehdokkaiden lisäämiseksi edelleen iteratiivisessa prosessissa, ja kielimalli tuottaa parannettuja kehotusversioita aikaisemman suorituskyvyn palautteen perusteella. Tämä iteratiivinen hienosäätö antaa APE: lle mahdollisuuden löytää parempia nolla-ampumaketjujen ketjun kehotuksia kuin tavanomaiset ihmisen suunnittelemat kehotteet, kuten "ajattelemme askel askeleelta".
APE: n automaattinen lähestymistapa tarjoaa useita käytännön etuja manuaalisesta nopeasta tekniikasta:
- Se vähentää merkittävästi nopeaan luomiseen liittyvää aikaa ja työvoimaa, ja raportit ovat jopa 70%: n vähenemistä kehityssyklien vähenemisestä, mikä nopeuttaa AI -sovellusten käyttöönottoa.
- AI -vasteiden tarkkuutta voidaan parantaa jopa 35%: lla verrattuna käsin muotoiltuihin kehotuksiin perusteellisen testauksen ja hienostumisen vuoksi.
- AI -lähdöiden virhesuhteet laskevat noin 45%, mikä parantaa luotettavuutta.
- Koulutustehokkuus edut, koska apina voi tuottaa synteettistä koulutustietoja, jotka kiihdyttävät mallin oppimista, erityisen arvokasta erikoistuneissa tai data-levityksessä.
- Se tarjoaa korkean räätälöinnin ja sopeutumiskyvyn erilaisiin käyttötapauksiin, räätälöimällä nopean sukupolven strategiat tiettyihin tehtäviin tarvittamatta ihmisen asiantuntemusta.
- Pitkän laadun ja tuotoksen johdonmukaisuus varmistetaan systemaattisilla ja toistettavilla nopealla tuotantoprosesseilla, mikä vähentää riippuvuutta ihmisen yksittäisestä intuitiosta tai taitoista.
APE: n vertaaminen muihin nopeaan ohjausmenetelmään kuvaa sen ainutlaatuisia etuja. Haku-augmentoitu sukupolvi (RAG) yhdistää haun ja sukupolven, mutta riippuu silti manuaalisesta nopeaan tekniikkaan. Hienosäätö muuttaa malliparametreja verkkotunnustietoilla, mutta vaatii suuria tietojoukkoja ja laskennallisia resursseja. Manuaalinen kehotustekniikka mahdollistaa joustavuuden, mutta on aikaa vievää ja epäjohdonmukaista, kun taas Ape automatisoi nopeaa luomista ja hienostuneisuutta yhdistämällä skaalautuvuuden nopeaan tekniikan mukautuvuuteen.
Laadulliset analyysit osoittavat, että APE: n tuotetut ohjeet ovat yleensä erikoistuneet totuudenmukaisuuden ja informatiivisuuden ulottuvuuksien mukaisesti saavuttaen pareto-optimaaliset kompromissit, jotka ylittävät tyypilliset ihmisen suunnittelemat kehotteet. Tämä viittaa siihen, että APE voi ohjata LLM: ää paitsi parantamaan tarkkuutta myös kohti soveltamistarpeisiin räätälöityjä vivahteisia lähtöominaisuuksia. Se voi myös valmistaa optimoituja apinan kehotuksia muutaman laukauksen oppimisasetuksiin, mikä parantaa yleistä oppimista.
Etuistaan huolimatta APE: llä on joitain rajoituksia manuaalisiin lähestymistapoihin verrattuna. Optimoinnin iteratiivinen hakuprosessi voi olla laskennallisesti intensiivistä ja vaatia lisäresursseja. Tehokas suorituskyky riippuu voimakkaasti ehdokaskehotteiden arviointiin käytetyn pisteytystoiminnon laadusta, ja tulokset voivat vaihdella erilaisten tehtävä -alueiden tai mallien mukaan. Mallin poikkileikkauksen siirto, jos yhdelle mallille luodut ohjeet sovelletaan toiseen, on rajoitettu, mikä edellyttää parhaiden tulosten kehotusten tehtäväkohtaista virittämistä.
Yhteenvetona voidaan todeta
- APE luo systemaattisesti ja tarkentaa kehotuksia optimoimaan suorituskyky erilaisissa tehtävissä, mikä johtaa parempiin tai vertailukelpoisiin tuloksiin monissa arviointimittareissa, mukaan lukien tarkkuus, totuudenmukaisuus ja informatiivisuus.
- Ihmiskehotteet voivat olla epäjohdonmukaisia ja vaativat asiantuntijoiden ponnisteluja; Ape automatisoi nämä prosessit säästäen aikaa parantaen tarkkuutta.
- APE on mukautuvampi tehtävien välillä ilman manuaalista uudelleensuunnittelua, räätälöiviä ohjeita tehokkaasti.
-Kompromissi on lisääntyneitä laskennallisia kustannuksia ja mahdollinen tarve tehtäväkohtaiseen pisteytysoptimointiin.
-APE on osoitettu käytännöllisenä välineenä nolla-ampuma-, harvojen ja ketjun ketjun kehottamisen paradigmien parantamiseksi, mikä ylittää usein perinteiset ihmisen suunnittelemat lähtötason kehotteet.