Automatinė raginimo inžinerija (APE) yra metodas, sukurtas automatiškai generuoti ir pasirinkti natūralių kalbos instrukcijas (raginimus) didelių kalbos modeliams (LLMS), siekiant pagerinti užduoties atlikimą. Tai vertina instrukciją kaip „programą“, kurią reikia optimizuoti ieškant LLM sugeneruotų instrukcijų kandidatų, siekiant maksimaliai padidinti pasirinktą balų funkciją atliekant konkrečią užduotį. Tada pasirinktos instrukcijos atlikimas įvertinamas pritaikant ją prie nulinio kadro užduočių su kitu LLM. Šis požiūris kontrastuoja su tradicine greita inžinerija, kai žmonės rankiniu būdu rengiami.
Įrodyta, kad APE pralenkia ankstesnius LLM pradinius raginimus didele riba ir pasiekia geresnį ar palyginamą našumą su žmogaus sukurtomis instrukcijomis keliuose etalonuose. Pavyzdžiui, eksperimentai rodo, kad Ape pralenkia žmogaus inžinerijos raginimus dėl visų metrikų, įskaitant teisingumą ir informatyvumą atliekant nustatytas užduotis. Vykdydami 24 instrukcijų indukcijos užduotis ir 21 kuruojamas didžiojo stendo užduotis, APE sukurtos raginimai buvo geresni arba palyginami su žmonių raginimais atitinkamai 19 ir 17 užduočių, rodančių stiprią apibendrinimą ir našumo nuoseklumą.
APE procesas apima įvairių kandidatų raginimų rinkinį, pagrįstą pradiniais įvesties ir išvesties pavyzdžiais, ir po to įvertinami šie kandidatai pagal jų veiksmingumą atliekant užduotį. Tai dažnai apima automatizuotą teisingumo, informatyvumo ar teisingumo vertinimą. Kandidatai, viršijantys tam tikrus kriterijus, yra pasirinkti tolesniam tobulinimui iteraciniame procese, o kalbos modelis sukuria patobulintas raginimų versijas, pagrįstas ankstesniais atsiliepimais apie veiklą. Šis pakartotinis patobulinimas ypač leidžia APE atrasti geresnius nulinio šūvio mąstymo grandinės raginimus nei standartiniai žmogaus sukurtos raginimai, tokie kaip „Mąstykime žingsnis po žingsnio“.
„Ape“ automatinis požiūris teikia keletą praktinių privalumų, palyginti su rankiniu greičiu inžinerija:
- Tai žymiai sumažina laiką ir darbą, susijusį su greito kūrimo metu, nes ataskaitos apie 70% sumažėja plėtros ciklai, spartinant AI programų diegimą.
- PG reakcijų tikslumą galima pagerinti net 35%, palyginti su rankiniu būdu pagamintais raginimais dėl kruopštaus bandymo ir patobulinimo.
- Klaidų lygis AI išėjimuose sumažėja maždaug 45%, padidinant patikimumą.
- Mokymo efektyvumo nauda, nes APE gali generuoti sintetinius mokymo duomenis, kurie pagreitina modelio mokymąsi, ypač vertingus specializuotuose ar duomenų statymo srityse.
- Tai suteikia aukštą pritaikymą ir pritaikomumą įvairiems naudojimo atvejams, automatiškai pritaikyti greitųjų generavimo strategijas prie konkrečių užduočių, nereikalaujant žmonių patirties.
- Greitos kokybės ir išvesties nuoseklumą užtikrina sistemingi ir pakartojami greitųjų generavimo procesai, sumažinant priklausomybę nuo atskiros žmogaus intuicijos ar įgūdžių.
Palyginus APE su kitais greitųjų gairių metodais, paaiškinami jo unikalūs pranašumai. Gauna rugpjūčio mėn. (RAG) sujungia paiešką ir generavimą, tačiau vis tiek remiasi rankiniu greičiu inžinerija. Tinkamas derinimas modifikuoja modelio parametrus su domeno duomenimis, tačiau reikalauja didelių duomenų rinkinių ir skaičiavimo išteklių. Rankinis raginimas inžinerija suteikia lankstumo, tačiau reikalauja daug laiko ir nenuosekli, tuo tarpu APE automatizuoja greitą kūrimą ir tobulinimą, derindama mastelį su greito inžinerijos pritaikomumu.
Kokybinės analizės rodo, kad APE generuojamos instrukcijos paprastai specializuojasi pagal teisingumo ir informatyvumo dimensijas, pasiekiant pareto optimalius kompromisus, kurie pranoksta tipinius žmonių inžinerinius raginimus. Tai rodo, kad APE gali padėti LLM ne tik pagerinti tikslumą, bet ir siekti niuansuotų išvesties charakteristikų, pritaikytų taikymo poreikiams. Tai taip pat gali iš anksto pateikti optimizuotus APE raginimus, kad būtų galima nustatyti keletą nuotraukų mokymosi sąrankų, padidinant bendrą mokymosi rezultatą.
Nepaisant savo pranašumų, APE turi tam tikrų apribojimų, palyginti su rankiniais metodais. Iteracinis optimizavimo paieškos procesas gali būti intensyvus skaičiavimu ir reikalauti papildomų išteklių. Efektyvus našumas labai priklauso nuo balų skaičiavimo funkcijos, naudojamos kandidatų raginimams įvertinti, kokybę, ir rezultatai gali skirtis atsižvelgiant į skirtingas užduoties sritis ar modelius. Kryžminio modelio instrukcijų perdavimas, kai vienam modeliui generuojamos instrukcijos yra taikomos kitam, yra ribotas, todėl reikia atlikti specifinius užduoties raginimus, kad būtų geriausi rezultatai.
Apibendrinant galima pasakyti, kad pagrindiniai APE ir žmogaus sukurtų raginimų veiklos skirtumai yra šie:
- APE sistemingai generuoja ir patikslina raginimus optimizuoti įvairių užduočių atlikimą, todėl gaunami geresni ar palyginami daugelio vertinimo metrikos rezultatai, įskaitant tikslumą, teisingumą ir informatyvumą.
- Žmonių raginimai gali būti nenuoseklūs ir reikalauti ekspertų pastangų; APE automatizuoja šiuos procesus, taupant laiką, tuo pačiu pagerindamas tikslumą.
- APE yra labiau pritaikoma atliekant užduotis be rankinio pertvarkymo, efektyviai pritaikant instrukcijas.
-Kompromisas padidėja skaičiavimo sąnaudas ir galimas užduoties optimizavimo užduotims.
-APE buvo įrodyta kaip praktinė priemonė, leidžianti sustiprinti nulinį kadrą, nedaug šūvių ir minčių grandinę paraginančios paradigmos, dažnai pranokdamos tradicinius žmogaus sukurtus pradinius raginimus.