Automaatne kiiretehnika (APE) on meetod, mis on välja töötatud suurte keelemudelite (LLM -ide) looduskeelejuhiste (viipete) genereerimiseks ja valimiseks, et parandada ülesande jõudlust. See käsitleb juhendit kui programmi optimeerimist, otsides LLM -i loodud juhendamiskandidaatide kogumi, mille eesmärk on maksimeerida konkreetse ülesande jaoks valitud tulemusfunktsiooni. Seejärel hinnatakse valitud juhise toimivust, rakendades seda teise LLM-iga null-laskumise ülesannetele. See lähenemisviis on vastuolus traditsioonilise kiire tehnikaga, kus inimesed on käsitsi meisterdatud.
On näidatud, et APE edestab eelnevat LLM-i algtaseme viipasid märkimisväärse marginaali võrra ja saavutab inimese loodud juhistele parema või võrreldava jõudluse mitmel võrdlusalusel. Näiteks näitavad katsed, et APE edestab kõigi mõõdikuid, sealhulgas tõepärasus ja informatiivsus seatud ülesannete osas. 24 juhendamise induktsiooniülesande ja 21 kureeritud suurte pingi ülesannete komplektis olid ahvide loodud juhised vastavalt paremad või võrreldavad inimese viipadega vastavalt 19 ja 17 ülesandega, mis näitab tugevat üldistust ja jõudluse järjepidevust.
APE protsess hõlmab mitmekesiste kandidaatide komplektide genereerimist, mis põhineb esialgsetel sisend-väljundi näidetel, millele järgneb nende kandidaatide skoorimine vastavalt nende tõhususele. See hõlmab sageli korrektsuse, informatiivsuse või tõepärasuse automatiseeritud hindamist. Kandidaadid, kes on teatud kriteeriumid, valitakse iteratiivses protsessis edasiseks täpsustamiseks, keelemudel loob parandatud parandatud versioonid eelneva jõudluse tagasiside põhjal. See iteratiivne täpsustamine võimaldab APE-l leida paremaid nullnumbritega ahelaid kui standardsed inimtehnoloogiaga juhised nagu "mõtleme samm-sammult".
APE automaatne lähenemisviis pakub käsitsi kiiret tehnikat mitmeid praktilisi eeliseid:
- See vähendab märkimisväärselt kiiret loomisega seotud aega ja tööjõudu, teadetest kuni 70% arendustsüklite vähenemise kohta, kiirendades AI -rakenduste kasutuselevõttu.
- AI vastuste täpsust saab põhjaliku testimise ja rafineerimise tõttu parandada käsitsi koostatud viipete võrra 35%.
- AI väljundite veamäärad vähenevad umbes 45%, suurendades töökindlust.
- Treeningu tõhususe eelised APE võib genereerida sünteetilisi koolitusandmeid, mis kiirendavad mudeliõpet, eriti väärtuslikke spetsialiseeritud või andmetekärbe domeenides.
- See pakub kõrget kohandamist ja kohanemisvõimet mitmekesiste kasutusjuhtude jaoks, kohandades kiirete genereerimise strateegiaid automaatselt konkreetsetele ülesannetele, ilma et oleks vaja inimlikke teadmisi.
- Kiire kvaliteedi ja väljundi järjepidevus tagab süstemaatiliste ja korduvate kiirete genereerimisprotsesside abil, vähendades sõltuvust inimese individuaalse intuitsiooni või oskusest.
APE võrdlemine muude kiirete juhendamismeetoditega illustreerib selle ainulaadseid eeliseid. Väljavõtmise austatud genereerimine (RAG) ühendab otsimise ja genereerimise, kuid tugineb siiski käsitsi kiirele tehnikale. Prine häälestamine muudab mudeli parameetreid domeeniandmetega, kuid nõuab suuri andmekogumeid ja arvutuslikke ressursse. Käsitsi esitatud insener võimaldab paindlikkust, kuid on aeganõudev ja ebajärjekindel, samas kui APE automatiseerib kiire loomise ja täpsustamise, ühendades mastaapsuse kiire inseneri kohanemisvõimega.
Kvalitatiivsed analüüsid näitavad, et ahvide loodud juhised kipuvad spetsialiseeruma tõepärasuse ja informatiivsuse mõõtmetele, saavutades Pareto optimaalsed kompromissid, mis ületavad tüüpilisi inimese ehitatud viipasid. See viitab sellele, et APE suudab LLM -id mitte ainult paremat täpsust, vaid ka rakendusvajadustele kohandatud nüansseeritud väljundomaduste poole. Samuti võib see valmistada optimeeritud APE viigisid väheste õppimisseadete jaoks, suurendades üldist õpitulemusi.
Hoolimata selle eelistest, on APE -l mõningaid piiranguid võrreldes käsitsi lähenemisviisidega. Optimeerimise iteratiivne otsinguprotsess saab olla arvutuslikult intensiivne ja vajada täiendavaid ressursse. Tõhus jõudlus sõltub suuresti kandidaatide hindamiseks kasutatava punktifunktsiooni kvaliteedist ja tulemused võivad erineda erinevate ülesannete domeenide või mudelite puhul. Ristmudeli juhendamise ülekandmine, kus ühe mudeli jaoks loodud juhised rakendatakse teisele, on piiratud, mis nõuab parimate tulemuste saamiseks ülesandepõhist häälestamist.
Kokkuvõtlikult võib öelda, et APE ja inimese ehitatud viipade peamised tulemuslikkuse erinevused on järgmised:
- APE genereerib ja viimistleb süstemaatiliselt optimeerimist mitmekesiste ülesannete täitmise optimeerimiseks, mis viib paljude hindamismõõdikute paremate või võrreldavate tulemusteni, sealhulgas täpsus, tõepärasus ja informatiivsus.
- Inimeste pandid võivad olla ebajärjekindlad ja nõuda asjatundlikke pingutusi; APE automatiseerib neid protsesse, säästes aega, parandades samal ajal täpsust.
- APE on tööülesanneteta kohanemisvõimelisem ilma käsitsi ümberkujundamiseta, tõhusalt kohandades juhiseid.
-Kompromiss on suurenenud arvutuskulude ja võimaliku vajadusega ülesandepõhise punktiarvestuse optimeerimise järele.
-APE-d on näidatud kui praktilist vahendit nulllasku, väheste laskude ja ahela ahela paradigmade suurendamiseks, ületades sageli traditsioonilisi inimese ehitatud algtaseme lubasid.