Automatic Rismering Engineering (APE) - это метод, разработанный для автоматического генерации и выбора инструкций естественного языка (подсказок) для моделей крупных языков (LLMS) для повышения производительности задач. Он рассматривает инструкцию как «программу», которая должна быть оптимизирована путем поиска по пулу кандидатов на инструкции, сгенерированных LLM, стремясь максимизировать выбранную функцию оценки для конкретной задачи. Производительность выбранной инструкции затем оценивается путем применения ее к нулевым задачам с другим LLM. Этот подход контрастирует с традиционной быстрой инженерией, где подсказки создаются вручную людьми.
Было показано, что APE превзойдет предыдущие базовые подсказки LLM с значительным отрывом и достигать лучших или сопоставимых результатов для полученных человеческих инструкций по нескольким критериям. Например, эксперименты демонстрируют, что APE опережает инженерные подсказки для всех показателей, включая правдивость и информативность в задачах. В наборе из 24 задач по индукции инструкции и 21 куратор, сгенерированной APE подсказок были лучше или сравнимы с подсказками для человека в 19 и 17 задачах соответственно, что указывает на сильное обобщение и согласованность производительности.
Процесс APE включает в себя создание разнообразного набора подсказок кандидатов на основе первоначальных примеров ввода-вывода, за которым следует оценка этих кандидатов в соответствии с их эффективностью по задаче. Это часто включает в себя автоматическую оценку правильности, информативности или правдивости. Кандидаты выше определенных критериев выбраны для дальнейшей уточнения в итерационном процессе, причем языковая модель генерирует улучшенные версии подсказок на основе предыдущей обратной связи. Это итеративное уточнение, в частности, позволяет APE обнаружить лучшую цепочку с нулевым выстрелом, чем стандартные подсказки для инженеров с человеком, такие как «Давайте подумаем шаг за шагом».
Автоматический подход APE обеспечивает несколько практических преимуществ по сравнению с ручным управлением:
- Это значительно сокращает время и труд, связанные с быстрым созданием, с сообщениями о сокращении циклов разработки до 70%, ускоряя развертывание приложений для ИИ.
- Точность ответов AI может быть улучшена на целых 35% по сравнению с подсказом вручную из -за тщательного тестирования и уточнения.
- Показатели ошибок в выходах ИИ уменьшаются примерно на 45%, повышая надежность.
- Преимущества эффективности обучения, поскольку APE может генерировать синтетические учебные данные, которые ускоряют модельное обучение, особенно ценное в специализированных или доменах данных.
- Он обеспечивает высокую настройку и адаптивность к разнообразным вариантам использования, автоматически адаптируя стратегии генерации быстрого генерации к конкретным задачам, не требуя человеческого опыта.
- Согласованность в быстрого качества и вывода обеспечивается систематическими и повторяемыми процессами генерации быстрого образования, снижая зависимость от индивидуальной интуиции или навыков человека.
Сравнение обезьяны с другими быстрыми методами руководства иллюстрирует его уникальные преимущества. Полученное поколение (RAG) сочетает в себе поиск и поколение, но все же опирается на ручную техническую инженерию. Точная настройка изменяет параметры модели с данными домена, но требует больших наборов данных и вычислительных ресурсов. Ручная бывая инженерия обеспечивает гибкость, но занимает много времени и противоречиво, в то время как APE автоматизирует быстрое создание и уточнение быстрого быстрого
Качественные анализы показывают, что сгенерированные APE инструкции имеют тенденцию специализироваться на аспектах правдивости и информативности, достигая парето-оптимальных компромиссов, которые превосходят типичные подсказки для инженеров человека. Это говорит о том, что APE может направлять LLMS не только к повышению точности, но и к нюансированным выходным характеристикам, адаптированным к потребностям применения. Он также может подготовить оптимизированные подсказки APE к нескольким выстрелам настройки обучения, повышая общую производительность обучения.
Несмотря на свои преимущества, у APE есть некоторые ограничения по сравнению с ручными подходами. Итеративный процесс поиска для оптимизации может быть вычислительно интенсивным и требовать дополнительных ресурсов. Эффективная производительность в значительной степени зависит от качества функции оценки, используемой для оценки подсказок кандидатов, и результаты могут варьироваться в зависимости от различных областей или моделей задач. Передача инструкций по перекрестной модели, где инструкции, сгенерированные для одной модели, применяются к другой, ограничена, что требует настройки подсказок для конкретной задачи для достижения наилучших результатов.
Таким образом, ключевые различия в производительности между APE и инженерированным человеком подсказки:
- APE систематически генерирует и уточняет подсказки для оптимизации производительности по различным задачам, что приводит к лучшим или сопоставимым результатам во многих показателях оценки, включая точность, правдивость и информативность.
- человеческие подсказки могут быть непоследовательными и требовать экспертных усилий; APE автоматизирует эти процессы, экономя время, повышая точность.
- Обезьяна более адаптируется по задачам без ручного редизайна, эффективно адаптация инструкций.
-Компромисс заключается в увеличении вычислительной стоимости и потенциальной потребности в оптимизации оценки, специфичной для конкретной задачи.
-APE была продемонстрирована как практическое инструмент для улучшения парадигм с нулевым выстрелом, небольшим выстрелом и цепочкой мыслей, часто превосходящих традиционные инженерные базовые подсказки.