APE, performans açısından insan mühendisliği istemleriyle nasıl karşılaştırılır?

1. Sıfır Atış Performansı: Arama sonuçları, APE tarafından oluşturulan istemlerin, sıfır atış ayarındaki çeşitli görevlerde insan mühendisliği istemlerinden daha iyi performans gösterebileceğini göstermektedir. Örneğin, TruthfulQA kıyaslamasında, APE tarafından oluşturulan istemler, insan yapımı istemlerle karşılaştırıldığında doğruluk ve bilgilendiricilik gibi ölçümlerde daha yüksek puanlar elde etti [1].

2. Az Çekimde Bağlam İçi Öğrenme: APE tarafından oluşturulan istemlerin, insan mühendisliğiyle oluşturulan istemlerle karşılaştırıldığında dil modellerinin birkaç çekimde bağlam içi öğrenme performansını iyileştirdiği de gösterilmiştir. Arama sonuçları, APE'nin 24 talimat indüksiyon görevinden 21'inde birkaç atış performansını iyileştirdiğini belirtiyor [1].

3. Akıl Yürütme ve Mantıksal Düşünme: Dikkate değer bir örnek, APE'nin önceki çalışmalardan insan mühendisliğiyle geliştirilen "Adım adım düşünelim" isteminden daha iyi bir genel "düşünce zinciri" ipucunu keşfedebilmesidir. APE tarafından oluşturulan bu istem, MultiArith ve GSM8K [1] [3] gibi matematik muhakeme kriterlerinde performansın artmasına yol açtı.

4. Görevlerin Genişliği: Arama sonuçları, APE tarafından oluşturulan istemlerin, dil anlama, okuduğunu anlama, özetleme ve BIG'in çeşitli akıl yürütme görevleri de dahil olmak üzere çok çeşitli görevlerde insan istemleriyle eşleşebildiğini veya onlardan daha iyi performans gösterdiğini göstermektedir. -Bench kıyaslaması [1].

Özetle, APE'nin en önemli avantajı, hem sıfır atış hem de az atış ayarlarında çeşitli görev ve kıyaslamalarda insan yapımı olanlardan daha etkili istemleri otomatik olarak oluşturma yeteneği gibi görünüyor. Otomatik bilgi istemi mühendisliği yaklaşımı, büyük dil modellerinde, manuel bilgi istemi tasarımıyla elde edilebilecekleri aşan yeni yeteneklerin kilidini açıyor gibi görünüyor.