Tukaj je nekaj ključnih naprednih tehnik hitrega inženiringa za opravila kodiranja z velikimi jezikovnimi modeli:
1. Razumevanje modelske interpretacije poizvedb, povezanih s kodiranjem: To vključuje globoko razumevanje konceptov programiranja in sposobnost njihove artikulacije na način, ki ga lahko model učinkovito obdela. Cilj je oblikovati pozive, ki so usklajeni z notranjimi predstavitvami modela in mehanizmi pozornosti.[1]
2. Veriženje pozivov in večobratni pozivi: Razčlenitev zapletene naloge kodiranja v zaporedje pozivov, kjer se izhod enega poziva uporabi kot vhod za naslednjega. To omogoča modelu, da se naloge loti korak za korakom.[2][3]
3. Chain-of-Thought (CoT) Nagovarjanje: Zagotavljanje modela s primeri sklepanja po korakih za rešitev težave, ki ga vodi k ustvarjanju lastne verige sklepanja.[4][5] Izkazalo se je, da to znatno izboljša učinkovitost pri zapletenih nalogah razmišljanja.
4. Self-Consistency Prompting: Razširitev CoT, kjer je vzorčenih več poti sklepanja in izbran je najbolj samokonsistenten odgovor. To je uporabno za odprte težave z več veljavnimi rešitvami.[4]
5. Automatic Prompt Engineering (APE): Tehnika, ki sam poziv obravnava kot "program", ki ga je treba optimizirati, z uporabo jezikovnih modelov za ustvarjanje in iskanje pozivov kandidatov, da bi našli najučinkovitejšega za dano nalogo. [5]
6. Zagotavljanje ustreznega konteksta in primerov: Vključitev informacij, specifičnih za domeno, smernic za slog kodiranja in primerov vhodno-izhodnih podatkov v poziv lahko pomaga usmerjati model k natančnejšemu in ustreznejšemu ustvarjanju kode.[1][3]
Ključno je ponavljajoče se eksperimentiranje s hitrim oblikovanjem, testiranjem in izboljšanjem, da bi našli najučinkovitejše pozive za vaše posebne naloge kodiranja in jezikovni model. Skrbno hitro načrtovanje lahko bistveno izboljša zmogljivosti velikih jezikovnih modelov za pomoč pri kodiranju.
[1] Prompt Engineering for Coding Tasks – Towards Data Science[2] Tehnike naprednega hitrega inženiringa – Mercity AI[3] Prompt Engineering in 2024: Techniques, Uses & Advanced ... - Acorn[4] Advanced Prompt Engineering: Kaj vključuje? - DataScientest.com[5] prompts-advanced-usage.md - GitHub
Citati:[1] https://towardsdatascience.com/prompt-engineering-llms-coding-chatgpt-artificial-intelligence-c16620503e4e?gi=54ae68d69ee0
[2] https://www.mercity.ai/blog-post/advanced-prompt-engineering-techniques
[3] https://www.acorn.io/resources/learning-center/prompt-engineering
[4] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve
[5] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md