Zde jsou některé klíčové pokročilé techniky rychlého inženýrství pro úlohy kódování s velkými jazykovými modely:
1. Pochopení modelové interpretace dotazů souvisejících s kódováním: To zahrnuje hluboké porozumění programovacím konceptům a schopnost je formulovat způsobem, který model dokáže efektivně zpracovat. Cílem je vytvořit výzvy, které jsou v souladu s vnitřními reprezentacemi modelu a mechanismy pozornosti.[1]
2. Řezení výzev a víceotáčkové výzvy: Rozdělení složité úlohy kódování do sekvence výzev, kde se výstup jedné výzvy používá jako vstup pro další. To umožňuje modelu řešit úkol krok za krokem.[2][3]
3. Chain-of-Thought (CoT) Prompting: Poskytnutí modelu s příklady postupného uvažování k vyřešení problému, které ho vede k vytvoření vlastního řetězce uvažování.[4][5] Ukázalo se, že to výrazně zlepšuje výkon při složitých úlohách uvažování.
4. Self-Consistency Prompting: Rozšíření CoT, kde je vzorkováno více cest uvažování a je vybrána nejkonzistentnější odpověď. To je užitečné pro otevřené problémy s více platnými řešeními.[4]
5. Automatic Prompt Engineering (APE): Technika, která zachází s výzvou samotnou jako s „programem“, který je třeba optimalizovat, pomocí jazykových modelů generuje a prohledává výzvy kandidátů, aby našel tu nejúčinnější pro daný úkol. [5]
6. Poskytnutí relevantního kontextu a příkladů: Zahrnutí informací specifických pro doménu, pokynů pro styl kódování a příkladů vstupu a výstupu do výzvy může pomoci nasměrovat model k přesnějšímu a relevantnějšímu generování kódu.[1][3]
Klíčem je iterativně experimentovat s rychlým návrhem, testováním a vylepšováním, abyste našli nejúčinnější výzvy pro vaše specifické kódovací úlohy a jazykový model. Pečlivé rychlé inženýrství může výrazně zlepšit schopnosti velkých jazykových modelů pro pomoc s kódováním.
[1] Prompt Engineering for Coding Tasks – Towards Data Science[2] Advanced Prompt Engineering Techniques – Mercity AI[3] Prompt Engineering in 2024: Techniques, Uses & Advanced... – Acorn[4] Pokročilé rychlé inženýrství: Co to zahrnuje? - DataScientest.com[5] prompts-advanced-usage.md – GitHub
Citace:[1] https://towardsdatascience.com/prompt-engineering-llms-coding-chatgpt-artificial-intelligence-c16620503e4e?gi=54ae68d69ee0
[2] https://www.mercity.ai/blog-post/advanced-prompt-engineering-techniques
[3] https://www.acorn.io/resources/learning-center/prompt-engineering
[4] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve
[5] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md