Dưới đây là một số kỹ thuật nhắc nhở nâng cao quan trọng dành cho các tác vụ mã hóa bằng mô hình ngôn ngữ lớn:
1. Hiểu cách diễn giải các truy vấn liên quan đến mã hóa của Mô hình: Điều này đòi hỏi phải có hiểu biết sâu sắc về các khái niệm lập trình và có thể diễn đạt chúng theo cách mà mô hình có thể xử lý hiệu quả. Mục tiêu là tạo ra các lời nhắc phù hợp với cơ chế chú ý và biểu diễn bên trong của mô hình.[1]
2. Xâu chuỗi lời nhắc và nhắc nhở nhiều lượt: Chia một nhiệm vụ mã hóa phức tạp thành một chuỗi các lời nhắc, trong đó đầu ra của một lời nhắc được sử dụng làm đầu vào cho lời nhắc tiếp theo. Điều này cho phép mô hình giải quyết nhiệm vụ theo từng bước.[2][3]
3. Nhắc nhở về chuỗi suy nghĩ (CoT): Cung cấp cho mô hình các ví dụ về lý luận từng bước để giải quyết vấn đề, hướng dẫn mô hình tạo ra chuỗi lý luận của riêng mình.[4][5] Điều này đã được chứng minh là cải thiện đáng kể hiệu suất thực hiện các nhiệm vụ lý luận phức tạp.
4. Nhắc nhở về tính tự thống nhất: Một phần mở rộng của CoT trong đó nhiều đường dẫn lập luận được lấy mẫu và câu trả lời tự nhất quán nhất sẽ được chọn. Điều này rất hữu ích cho các bài toán mở có nhiều lời giải hợp lệ.[4]
5. Kỹ thuật nhắc nhở tự động (APE): Một kỹ thuật coi chính lời nhắc là "chương trình" cần được tối ưu hóa, sử dụng các mô hình ngôn ngữ để tạo và tìm kiếm lời nhắc ứng viên nhằm tìm ra lời nhắc hiệu quả nhất cho một nhiệm vụ nhất định. [5]
6. Cung cấp bối cảnh và ví dụ có liên quan: Việc bao gồm thông tin theo miền cụ thể, nguyên tắc về kiểu mã hóa và ví dụ đầu vào-đầu ra trong lời nhắc có thể giúp định hướng mô hình theo hướng tạo mã chính xác và phù hợp hơn.[1][3]
Điều quan trọng là phải thử nghiệm lặp đi lặp lại thiết kế, thử nghiệm và tinh chỉnh nhanh chóng để tìm ra những lời nhắc hiệu quả nhất cho các tác vụ mã hóa và mô hình ngôn ngữ cụ thể của bạn. Kỹ thuật nhanh chóng cẩn thận có thể nâng cao đáng kể khả năng của các mô hình ngôn ngữ lớn để hỗ trợ mã hóa.
[1] Kỹ thuật nhắc nhở cho các nhiệm vụ mã hóa - Hướng tới khoa học dữ liệu[2] Kỹ thuật kỹ thuật nhanh chóng nâng cao - Mercy AI[3] Prompt Engineering năm 2024: Kỹ thuật, Công dụng & Nâng cao... - Acorn[4] Kỹ thuật nhắc nhở nâng cao: Nó bao gồm những gì? - DataScientest.com[5] prompts-advanced-usage.md - GitHub
Trích dẫn:[1] https://towardsdatascience.com/prompt-engineering-llms-coding-chatgpt-artificial-intelligence-c16620503e4e?gi=54ae68d69ee0
[2] https://www.mercity.ai/blog-post/advanced-prompt-engineering-techniques
[3] https://www.acorn.io/resources/learning-center/prompt-engineering
[4] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve
[5] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md