Šeit ir dažas galvenās uzlabotās tūlītējās inženierijas metodes uzdevumu kodēšanai ar lieliem valodu modeļiem:
1. Izpratne par modeļa interpretāciju ar kodēšanu saistītiem vaicājumiem: tas ietver dziļu programmēšanas koncepciju izpratni un spēju tos formulēt tā, lai modelis varētu efektīvi apstrādāt. Mērķis ir izstrādāt uzvednes, kas atbilst modeļa iekšējiem attēlojumiem un uzmanības mehānismiem.[1]
2. Uzvedņu ķēde un vairāku apgriezienu uzvedne: sarežģīta kodēšanas uzdevuma sadalīšana uzvedņu secībā, kur vienas uzvednes izvade tiek izmantota kā ievade nākamajam. Tas ļauj modelim soli pa solim tikt galā ar uzdevumu.[2][3]
3. Domu ķēdes (CoT) pamudinājums: modeļa nodrošināšana ar soli pa solim spriešanas piemēriem, lai atrisinātu problēmu, lai tas radītu savu spriešanas ķēdi.[4][5] Ir pierādīts, ka tas ievērojami uzlabo veiktspēju sarežģītu spriešanas uzdevumu veikšanā.
4. Paškonsekvences uzvedne: CoT paplašinājums, kurā tiek atlasīti vairāki spriešanas ceļi un tiek atlasīta visatbilstošākā atbilde. Tas ir noderīgi beztermiņa problēmām ar vairākiem derīgiem risinājumiem.[4]
5. Automātiskā uzvednes izstrāde (APE): paņēmiens, kas pašu uzvedni uzskata par optimizējamo “programmu”, izmantojot valodas modeļus, lai ģenerētu un meklētu kandidātu uzvednes, lai atrastu konkrētajam uzdevumam visefektīvāko. [5]
6. Atbilstoša konteksta un piemēru sniegšana: domēnam specifiskas informācijas, kodēšanas stila vadlīniju un ievades-izvades piemēru iekļaušana uzvednē var palīdzēt virzīt modeli uz precīzāku un atbilstošāku kodu ģenerēšanu.[1][3]
Galvenais ir iteratīvi eksperimentēt ar tūlītēju izstrādi, testēšanu un uzlabošanu, lai atrastu visefektīvākās uzvednes konkrētiem kodēšanas uzdevumiem un valodas modelim. Rūpīga tūlītēja izstrāde var ievērojami uzlabot lielu valodu modeļu iespējas kodēšanas palīdzības sniegšanai.
[1] Prompt Engineering for Coding Tasks — Towards Data Science[2] Advanced Prompt Engineering Techniques — Mercity AI[3] Prompt Engineering in 2024: Techniques, Uses & Advanced... — Acorn[4] Advanced Prompt Engineering: ko tas ietver? - DataScientest.com[5] prompts-advanced-usage.md — GitHub
Citāts:[1] https://towardsdatascience.com/prompt-engineering-llms-coding-chatgpt-artificial-intelligence-c16620503e4e?gi=54ae68d69ee0
[2] https://www.mercity.ai/blog-post/advanced-prompt-engineering-techniques
[3] https://www.acorn.io/resources/learning-center/prompt-engineering
[4] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve
[5] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md