Чем APE отличается от подсказок, созданных человеком, с точки зрения производительности

1. Нулевая производительность. Результаты поиска показывают, что подсказки, сгенерированные APE, могут превосходить подсказки, созданные человеком, при выполнении различных задач в условиях нулевого выстрела. Например, в тесте TruthfulQA подсказки, созданные APE, получили более высокие оценки по таким показателям, как правдивость и информативность, по сравнению с подсказками, созданными человеком [1].

2. Многоэтапное контекстное обучение: также было показано, что подсказки, созданные с помощью APE, улучшают эффективность многократного контекстного обучения языковых моделей по сравнению с подсказками, созданными человеком. В результатах поиска упоминается, что APE улучшил производительность при выполнении нескольких шагов в 21 из 24 задач по вводу инструкций [1].

3. Рассуждение и логическое мышление. Одним из примечательных примеров является то, что APE удалось обнаружить лучшую общую подсказку «цепочки мыслей», чем созданная человеком подсказка «Давайте подумаем шаг за шагом» из предыдущей работы. Это приглашение, сгенерированное APE, привело к повышению производительности в тестах математических рассуждений, таких как MultiArith и GSM8K [1][3].

4. Широта задач. Результаты поиска показывают, что подсказки, сгенерированные APE, могли соответствовать или превосходить человеческие подсказки при выполнении широкого спектра задач, включая понимание языка, понимание прочитанного, обобщение и различные задачи на рассуждение от BIG. - Стендовый тест [1].

Подводя итог, можно сказать, что ключевым преимуществом APE, по-видимому, является его способность автоматически генерировать подсказки, которые более эффективны, чем те, которые создаются человеком, для разнообразного набора задач и тестов, как в условиях нулевого, так и малого количества действий. Подход к автоматизированному проектированию подсказок, похоже, открывает новые возможности в больших языковых моделях, которые превосходят возможности ручного проектирования подсказок.