Πώς συγκρίνεται το APE με τις προτροπές που έχουν δημιουργηθεί από τον άνθρωπο όσον αφορά την απόδοση

1. Απόδοση μηδενικής λήψης: Τα αποτελέσματα αναζήτησης υποδεικνύουν ότι οι προτροπές που δημιουργούνται από το APE μπορούν να ξεπεράσουν τις προτροπές που έχουν δημιουργηθεί από τον άνθρωπο σε μια ποικιλία εργασιών σε μια ρύθμιση μηδενικής λήψης. Για παράδειγμα, στο σημείο αναφοράς TruthfulQA, οι προτροπές που δημιουργήθηκαν από το APE πέτυχαν υψηλότερες βαθμολογίες σε μετρήσεις όπως η αλήθεια και η πληροφόρηση σε σύγκριση με τις προτροπές που δημιουργήθηκαν από τον άνθρωπο [1].

2. Μάθηση εντός πλαισίου με λίγες λήψεις: Οι προτροπές που δημιουργούνται από APE έχουν επίσης αποδειχθεί ότι βελτιώνουν την απόδοση γλωσσικών μοντέλων εκμάθησης λίγων λήψεων σε σχέση με τις προτροπές που έχουν δημιουργηθεί από τον άνθρωπο. Τα αποτελέσματα αναζήτησης αναφέρουν ότι το APE βελτίωσε την απόδοση λίγων βολών σε 21 από τις 24 εργασίες εισαγωγής εντολών [1].

3. Συλλογισμός και Λογική Σκέψη: Ένα αξιοσημείωτο παράδειγμα είναι ότι το APE μπόρεσε να ανακαλύψει μια καλύτερη γενική προτροπή "αλυσίδας σκέψης" από την προτροπή "Ας σκεφτούμε βήμα προς βήμα" που είχε σχεδιαστεί από τον άνθρωπο από προηγούμενη εργασία. Αυτή η προτροπή που δημιουργήθηκε από το APE οδήγησε σε βελτιωμένη απόδοση σε σημεία αναφοράς μαθηματικών συλλογισμών όπως το MultiArith και το GSM8K [1][3].

4. Εύρος εργασιών: Τα αποτελέσματα αναζήτησης υποδεικνύουν ότι οι προτροπές που δημιουργήθηκαν από APE ήταν σε θέση να ταιριάζουν ή να ξεπεράσουν τις ανθρώπινες προτροπές σε ένα ευρύ φάσμα εργασιών, συμπεριλαμβανομένης της κατανόησης γλώσσας, της κατανόησης ανάγνωσης, της σύνοψης και διαφόρων συλλογιστικών εργασιών από το BIG -Μέτρο αναφοράς πάγκου [1].

Συνοπτικά, το βασικό πλεονέκτημα του APE φαίνεται να είναι η ικανότητά του να δημιουργεί αυτόματα προτροπές που είναι πιο αποτελεσματικές από αυτές που έχουν δημιουργηθεί από τον άνθρωπο σε ένα διαφορετικό σύνολο εργασιών και σημείων αναφοράς, τόσο σε ρυθμίσεις μηδενικής λήψης όσο και σε ρυθμίσεις λίγων λήψεων. Η αυτοματοποιημένη προσέγγιση άμεσης μηχανικής φαίνεται να ξεκλειδώνει νέες δυνατότητες σε μεγάλα γλωσσικά μοντέλα που ξεπερνούν ό,τι μπορεί να επιτευχθεί μέσω της μη αυτόματης σχεδίασης προτροπής.