다음은 대규모 언어 모델을 사용하는 코딩 작업을 위한 몇 가지 주요 고급 프롬프트 엔지니어링 기술입니다.
1. 코딩 관련 쿼리에 대한 모델의 해석 이해: 여기에는 프로그래밍 개념을 깊이 이해하고 모델이 효과적으로 처리할 수 있는 방식으로 이를 명확하게 표현할 수 있는 능력이 포함됩니다. 목표는 모델의 내부 표현 및 주의 메커니즘과 일치하는 프롬프트를 만드는 것입니다.[1]
2. 프롬프트 연결 및 다중 턴 프롬프트: 복잡한 코딩 작업을 일련의 프롬프트로 분해하여 한 프롬프트의 출력이 다음 프롬프트의 입력으로 사용됩니다. 이를 통해 모델은 작업을 단계별로 처리할 수 있습니다.[2][3]
3. CoT(사고 사슬) 프롬프트: 모델에 문제 해결을 위한 단계별 추론의 예를 제공하고 자체 추론 체인을 생성하도록 안내합니다.[4][5] 이는 복잡한 추론 작업의 성능을 크게 향상시키는 것으로 나타났습니다.
4. 자체 일관성 프롬프트: 여러 추론 경로가 샘플링되고 가장 일관된 답변이 선택되는 CoT의 확장입니다. 이는 여러 유효한 솔루션이 포함된 개방형 문제에 유용합니다.[4]
5. 자동 프롬프트 엔지니어링(APE): 프롬프트 자체를 최적화할 "프로그램"으로 처리하는 기술로 언어 모델을 사용하여 후보 프롬프트를 생성 및 검색하여 주어진 작업에 가장 효과적인 프롬프트를 찾습니다. [5]
6. 관련 컨텍스트 및 예시 제공: 도메인별 정보, 코딩 스타일 지침, 입력-출력 예시를 프롬프트에 포함하면 모델을 보다 정확하고 관련성 높은 코드 생성으로 전환하는 데 도움이 될 수 있습니다.[1][3]
핵심은 특정 코딩 작업 및 언어 모델에 가장 효과적인 프롬프트를 찾기 위해 프롬프트 디자인, 테스트 및 개선을 반복적으로 실험하는 것입니다. 신중한 프롬프트 엔지니어링은 코딩 지원을 위한 대규모 언어 모델의 기능을 크게 향상시킬 수 있습니다.
[1] 코딩 작업을 위한 신속한 엔지니어링 - 데이터 과학을 향하여[2] 고급 프롬프트 엔지니어링 기술 - Mercity AI[3] 2024년 프롬프트 엔지니어링: 기술, 용도 및 고급... - Acorn[4] Advanced Prompt Engineering: 어떤 내용이 포함되나요? - DataScientest.com[5] prompts-advanced-usage.md - GitHub
인용:[1] https://towardsdatascience.com/prompt-engineering-llms-coding-chatgpt-artificial-intelligence-c16620503e4e?gi=54ae68d69ee0
[2] https://www.mercity.ai/blog-post/advanced-prompt-engineering-techniques
[3] https://www.acorn.io/resources/learning-center/prompt-engineering
[4] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve
[5] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md