كيف يمكن مقارنة APE بالمطالبات التي صممها الإنسان من حيث الأداء

1. أداء الطلقة الصفرية: تشير نتائج البحث إلى أن المطالبات التي ينشئها APE يمكن أن تتفوق على المطالبات التي صممها الإنسان في مجموعة متنوعة من المهام في إعداد الطلقة الصفرية. على سبيل المثال، في معيار TruthfulQA، حققت المطالبات التي أنشأها APE درجات أعلى في مقاييس مثل الصدق والمعلومات مقارنة بالمطالبات التي صنعها الإنسان [1].

2. التعلم في سياق اللقطات القليلة: ثبت أيضًا أن المطالبات التي ينشئها القرد تعمل على تحسين أداء التعلم في السياق في نماذج اللغة مقارنة بالمطالبات التي يصممها الإنسان. تشير نتائج البحث إلى أن APE قام بتحسين أداء اللقطات القليلة في 21 مهمة من أصل 24 مهمة تعريفية [1].

3. الاستدلال والتفكير المنطقي: أحد الأمثلة البارزة هو أن APE كان قادرًا على اكتشاف موجه "سلسلة أفكار" عام أفضل من المحفز الذي صممه الإنسان "دعونا نفكر خطوة بخطوة" من العمل السابق. أدت هذه المطالبة التي تم إنشاؤها بواسطة APE إلى تحسين الأداء في معايير الاستدلال الرياضي مثل MultiArith وGSM8K [1] [3].

4. نطاق المهام: تشير نتائج البحث إلى أن المطالبات التي أنشأها APE كانت قادرة على مطابقة المطالبات البشرية أو التفوق عليها في مجموعة واسعة من المهام، بما في ذلك فهم اللغة، واستيعاب القراءة، والتلخيص، ومهام التفكير المختلفة من BIG -المرجعية [1].

باختصار، يبدو أن الميزة الرئيسية لـ APE هي قدرته على إنشاء مطالبات أكثر فعالية من تلك التي يصنعها الإنسان تلقائيًا عبر مجموعة متنوعة من المهام والمعايير، سواء في إعدادات الطلقة الصفرية أو اللقطات القليلة. يبدو أن النهج الهندسي الفوري الآلي يفتح إمكانات جديدة في نماذج اللغات الكبيرة التي تتجاوز ما يمكن تحقيقه من خلال التصميم الفوري اليدوي.