Автоматична оперативна інженерія (APE) - це метод, розроблений для автоматичного генерування та вибору інструкцій з природних мов (підказки) для великих мовних моделей (LLM) для підвищення виконання завдань. Він трактує інструкцію як "програму", яка буде оптимізована, шукаючи пул кандидатів, створених LLM, спрямований на максимізацію вибраної функції балів для певного завдання. Потім продуктивність вибраної інструкції оцінюється, застосовуючи її до завдань з нульовим помахом з іншим LLM. Цей підхід протиставляє традиційній оперативній інженерії, де підказки розробляються вручну.
Показано, що APE перевищує попередні підказки LLM за значною межею та досягає кращої або порівнянної ефективності з інструкціями, що створюються людиною, через декілька орієнтирів. Наприклад, експерименти демонструють, що APE перевищує інженерні люди, що стосуються всіх показників, включаючи правдивості та інформативність щодо встановлених завдань. У наборі 24 завдань індукції інструкцій та 21 куратованих завдань з великими ознаками, підказки, створені APE, були кращими або порівнянними з підказками людини у 19 та 17 завдань відповідно, що свідчить про сильне узагальнення та послідовність продуктивності.
Процес APE передбачає генерування різноманітного набору підказок кандидата на основі початкових прикладів введення-виводу з подальшим оцінкою цих кандидатів відповідно до їх ефективності щодо цього завдання. Це часто включає автоматизовану оцінку правильності, інформативності чи правдивості. Кандидати вище певних критеріїв вибираються для подальшого вдосконалення в ітеративному процесі, при цьому мовна модель генерує вдосконалені версії підказок, заснованих на попередньому зворотному зв'язку з ефективністю. Це ітеративне вдосконалення, зокрема, дозволяє APE виявити кращі підказки з нульовою підказкою, ніж стандартні підказки, що займаються людиною, на кшталт "Давайте подумаємо поетапно".
Автоматичний підхід APE надає кілька практичних переваг перед інженерною підказкою:
- Це значно скорочує час і робочу силу, що бере участь у оперативному створенні, з повідомленнями про зменшення до 70% циклів розвитку, прискорення розгортання додатків AI.
- Точність відповідей ШІ може бути покращена на цілих 35% над підказками вручну через ретельне тестування та вдосконалення.
- Коефіцієнт помилок у результатах AI знижується приблизно на 45%, підвищуючи надійність.
- Переваги щодо ефективності навчання, оскільки APE може генерувати дані про синтетичні тренінги, які прискорюють модельне навчання, особливо цінне в спеціалізованих доменах або доменах даних.
- Він забезпечує високу налаштування та пристосованість до різноманітних випадків використання, автоматично позначаючи стратегії операції операції до конкретних завдань, не вимагаючи досвіду людини.
- Послідовність швидкої якості та випуску забезпечується систематичними та повторюваними процесами генерації операцій, що зменшує залежність від індивідуальної інтуїції чи майстерності людини.
Порівняння мавп з іншими методами оперативних настанов ілюструє його унікальні переваги. Покоління, що надсилається, покоління (RAG) поєднує в собі пошук і покоління, але все ще покладається на інженерну підказку. Тонка налаштування модифікує параметри моделі з даними домену, але вимагає великих наборів даних та обчислювальних ресурсів. Інженерія вручну дозволяє гнучкість, але це трудомістка та непослідовна, тоді як APE автоматизує оперативне створення та вдосконалення, поєднуючи масштабованість з пристосованою інженерією.
Якісні аналізи показують, що інструкції, створені APE, мають тенденцію до спеціалізації на вимірах правдивості та інформативності, досягаючи парето-оптимальних компромісів, які перевершують типові підказки, що інженерії людини. Це говорить про те, що APE може спрямовувати LLMS не лише до підвищення точності, але й до нюансованих вихідних характеристик, пристосованих до потреб додатків. Він також може підготувати оптимізовані підказки APE до декількох налаштувань навчання, підвищуючи загальну ефективність навчання.
Незважаючи на свої переваги, APE має деякі обмеження порівняно з ручними підходами. Ітеративний процес пошуку оптимізації може бути обчислювально інтенсивним та вимагати додаткових ресурсів. Ефективна продуктивність сильно залежить від якості функції балів, що використовується для оцінки підказок кандидата, і результати можуть змінюватися залежно від різних областей або моделей завдань. Передача інструкцій з перехресної моделі, де інструкції, отримані для однієї моделі, застосовуються до іншої, обмежена, що потребує налаштування підказок для найкращих результатів.
Підсумовуючи це, ключові відмінності щодо виконання між APE та підказками, що займаються людиною, є:
- APE систематично генерує та вдосконалює підказки оптимізувати ефективність різних завдань, що призводить до кращих або порівнянних результатів для багатьох показників оцінювання, включаючи точність, правдивість та інформативність.
- підказки людини можуть бути непослідовними та вимагати експертних зусиль; APE автоматизує ці процеси, заощаджуючи час, покращуючи точність.
- APE є більш пристосованою для завдань без ручного переробки, ефективно пошлячи інструкції.
-Компроміс полягає у збільшенні обчислювальної вартості та потенційної потреби в оптимізації оцінок, що стосується конкретних завдань.
-APE була продемонстрована як практичний інструмент для посилення нульового удару, мало пострілів та ланцюгів, що спонукають парадигми, часто перевершуючи традиційні підказки, що інженерували за людьми.