Jak je na tom APE ve srovnání s výzvami vytvořenými lidmi z hlediska výkonu

1. Výkon nulového výstřelu: Výsledky vyhledávání naznačují, že výzvy generované APE mohou překonat výzvy vytvořené člověkem u různých úkolů v nastavení nulového výstřelu. Například v benchmarku TruthfulQA dosáhly výzvy generované APE vyšších skóre v metrikách, jako je pravdivost a informativnost, ve srovnání s výzvami vytvořenými lidmi [1].

2. Výuka několika výstřelů v kontextu: Bylo také prokázáno, že výzvy generované APE zlepšují výkonnost jazykových modelů při učení několika výstřelů v kontextu ve srovnání s výzvami vytvořenými lidmi. Výsledky vyhledávání zmiňují, že APE zlepšil výkon několika snímků u 21 z 24 úloh indukce instrukcí [1].

3. Uvažování a logické myšlení: Jedním z pozoruhodných příkladů je, že APE dokázala objevit lepší obecnou výzvu „řetězce myšlenek“ než lidsky vytvořenou výzvu „Přemýšlejme krok za krokem“ z předchozí práce. Tato výzva generovaná APE vedla ke zlepšení výkonu v benchmarcích matematického uvažování, jako jsou MultiArith a GSM8K [1][3].

4. Šířka úkolů: Výsledky vyhledávání naznačují, že výzvy generované APE byly schopny odpovídat nebo překonat lidské výzvy v širokém spektru úkolů, včetně porozumění jazyku, čtení s porozuměním, shrnutí a různých logických úloh od BIG -Bench benchmark [1].

Stručně řečeno, klíčovou výhodou APE se zdá být jeho schopnost automaticky generovat výzvy, které jsou efektivnější než ty vytvořené člověkem v rámci rozmanité sady úkolů a benchmarků, a to jak v nastaveních zero-shot, tak několika snímků. Zdá se, že přístup automatizovaného rychlého inženýrství odemyká nové možnosti ve velkých jazykových modelech, které překonávají to, čeho lze dosáhnout pomocí ručního návrhu.