Porównanie APE z podpowiedziami stworzonymi przez człowieka pod względem wydajności

1. Wydajność zerowa: Wyniki wyszukiwania wskazują, że podpowiedzi generowane przez APE mogą przewyższać podpowiedzi stworzone przez człowieka w przypadku różnych zadań przy ustawieniu zerowym. Na przykład w teście porównawczym TruthfulQA podpowiedzi wygenerowane przez APE uzyskały wyższe wyniki w takich miernikach, jak prawdziwość i informatywność w porównaniu z podpowiedziami stworzonymi przez człowieka [1].

2. Uczenie się w kontekście kilku strzałów: Wykazano również, że podpowiedzi generowane przez APE poprawiają wydajność uczenia się w kontekście modeli językowych w porównaniu z podpowiedziami opracowanymi przez człowieka. Wyniki wyszukiwania wspominają, że APE poprawiło wydajność kilku strzałów w 21 z 24 zadań wprowadzających do nauczania [1].

3. Rozumowanie i logiczne myślenie: Jednym godnym uwagi przykładem jest to, że APE był w stanie odkryć lepszy ogólny podpowiedź „łańcucha myślowego” niż wymyślony przez człowieka podpowiedź „Pomyślmy krok po kroku” z wcześniejszej pracy. Ten monit wygenerowany przez APE doprowadził do poprawy wydajności w testach porównawczych rozumowania matematycznego, takich jak MultiArith i GSM8K [1] [3].

4. Szeroki zakres zadań: Wyniki wyszukiwania wskazują, że podpowiedzi generowane przez APE były w stanie dorównać podpowiedziom ludzkim lub je przewyższać w przypadku szerokiego zakresu zadań, w tym rozumienia języka, czytania ze zrozumieniem, podsumowywania i różnych zadań rozumowania z BIG - Benchmark porównawczy [1].

Podsumowując, kluczową zaletą APE wydaje się być jego zdolność do automatycznego generowania podpowiedzi, które są skuteczniejsze niż te stworzone przez człowieka w przypadku zróżnicowanego zestawu zadań i testów porównawczych, zarówno w ustawieniach zerowych, jak i kilku strzałów. Wydaje się, że zautomatyzowane podejście do szybkiego projektowania otwiera nowe możliwości w dużych modelach językowych, które przewyższają to, co można osiągnąć poprzez ręczne projektowanie podpowiedzi.