Як APE порівнюється з підказками, розробленими людиною, з точки зору продуктивності

1. Ефективність нульового удару: результати пошуку показують, що підказки, згенеровані APE, можуть перевершити підказки, створені людиною, для різноманітних завдань у налаштуваннях нульового пуску. Наприклад, у тесті TruthfulQA підказки, створені APE, отримали вищі показники за такими показниками, як правдивість та інформативність, порівняно з підказками, створеними людиною [1].

2. Кількократне навчання в контексті: підказки, згенеровані APE, також показали, що покращують ефективність короткочасного навчання в контексті мовних моделей порівняно з підказками, створеними людиною. У результатах пошуку згадується, що APE покращив продуктивність кількох спроб у 21 із 24 завдань інструктажу [1].

3. Міркування та логічне мислення: одним із помітних прикладів є те, що APE зміг виявити кращу загальну підказку «ланцюга думок», ніж створена людиною підказка «Давайте подумаємо крок за кроком» із попередньої роботи. Це підказка, створена APE, призвела до покращення продуктивності в тестах математичних міркувань, таких як MultiArith і GSM8K [1][3].

4. Широта завдань: результати пошуку вказують на те, що підказки, згенеровані APE, могли відповідати або перевершувати підказки людини в широкому діапазоні завдань, включаючи розуміння мови, розуміння прочитаного, узагальнення та різноманітні завдання на міркування від BIG -Бенч-тест [1].

Таким чином, ключовою перевагою APE, здається, є його здатність автоматично генерувати підказки, які є ефективнішими, ніж створені людиною, для різноманітного набору завдань і контрольних показників, як у режимі нульового, так і в невеликому режимі. Схоже, підхід автоматизованого швидкого проектування відкриває нові можливості у великих мовних моделях, які перевершують те, що можна досягти за допомогою проектування підказок вручну.