Το GPT-4.5 έχει σχεδιαστεί για να χειρίζεται αντικρουόμενες οδηγίες μέσω μιας ιεραρχίας εντολών, η οποία δίνει προτεραιότητα στα μηνύματα του συστήματος σε μηνύματα χρήστη για την άμβλυνση των κινδύνων όπως οι άμεσες ενέσεις και άλλες επιθέσεις που υπερβαίνουν τις οδηγίες ασφαλείας [1]. Ωστόσο, αν το GPT-4.5 μπορεί να προσαρμοστεί σε νέους τύπους αντικρουόμενων οδηγιών που δεν έχει εκπαιδευτεί είναι ένα περίπλοκο ερώτημα.
Εκπαίδευση και αξιολόγηση
Το GPT-4.5 έχει εκπαιδευτεί χρησιμοποιώντας νέες τεχνικές εποπτείας σε συνδυασμό με παραδοσιακές μεθόδους όπως η εποπτευόμενη τελειοποίηση (SFT) και η ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση (RLHF) [1]. Αυτές οι μέθοδοι στοχεύουν στη βελτίωση της ευθυγράμμισης του μοντέλου με την πρόθεση του χρήστη και την ικανότητά του να ακολουθεί τις οδηγίες με μεγαλύτερη ακρίβεια. Το μοντέλο έχει αξιολογηθεί σε διάφορα σενάρια όπου συγκρούσεις μηνυμάτων συστήματος και χρηστών, παρουσιάζοντας βελτιώσεις σε προηγούμενα μοντέλα όπως το GPT-4O [1].
προσαρμοστικότητα σε νέες αντιφατικές οδηγίες
Ενώ το GPT-4.5 καταδεικνύει καλύτερη απόδοση στο χειρισμό γνωστών τύπων αντικρουόμενων οδηγιών, η ικανότητά του να προσαρμόζεται σε εντελώς νέους τύπους συγκρούσεων εξαρτάται από διάφορους παράγοντες:
1. Δυνατότητες γενίκευσης: Η κατάρτιση του GPT-4.5 περιλαμβάνει την κλιμάκωση της μη εποπτευόμενης μάθησης, η οποία ενισχύει την ικανότητά της να γενικεύει και να κατανοεί ευρύτερα πλαίσια [1]. Αυτό θα μπορούσε ενδεχομένως να βοηθήσει να αναγνωρίσει τα πρότυπα σε νέες αντιφατικές οδηγίες.
2. Ιεραρχία οδηγιών: Η ιεραρχία των οδηγιών του μοντέλου έχει σχεδιαστεί για να δίνει προτεραιότητα στα μηνύματα του συστήματος, τα οποία βοηθούν στη διατήρηση της ασφάλειας και της τήρησης των προκαθορισμένων κανόνων. Ωστόσο, εάν οι νέες αντιφατικές οδηγίες δεν εμπίπτουν στο πεδίο εφαρμογής αυτής της ιεραρχίας, το μοντέλο μπορεί να αγωνιστεί να προσαρμοστεί χωρίς πρόσθετη κατάρτιση ή τελειοποίηση.
3. Εμμηματοπροστασία και ικριώματα: Οι χρήστες μπορούν να χρησιμοποιήσουν προηγμένες τεχνικές προτροπής ή ικριώματα για να καθοδηγήσουν το μοντέλο για την κατανόηση και την παρακολούθηση νέων οδηγιών. Αυτή η προσέγγιση μπορεί να βοηθήσει να προκαλέσει συμπεριφορές πέρα από αυτό που το μοντέλο ήταν ρητά εκπαιδευμένο για [1].
4. Περιορισμοί και αξιολογήσεις ασφάλειας: Παρά τις βελτιώσεις, η GPT-4,5 εξακολουθεί να αντιμετωπίζει προκλήσεις στο χειρισμό σύνθετων ή νέων σεναρίων. Οι αξιολογήσεις ασφαλείας έχουν δείξει ότι ενώ το μοντέλο λειτουργεί καλά σε γνωστά καθήκοντα, υπάρχει πάντα ο κίνδυνος να μην ακολουθήσει τις οδηγίες σε απρόβλεπτα πλαίσια [1].
Συμπέρασμα
Ενώ η GPT-4.5 είναι πιο ικανή από τους προκατόχους της για τη διαχείριση αντιφατικών οδηγιών, η προσαρμοστικότητά του σε εντελώς νέους τύπους συγκρούσεων περιορίζεται από τα δεδομένα και το σχεδιασμό της. Μπορεί να απαιτεί επιπλέον στρατηγικές ρύθμισης ή δημιουργικής προτροπής για την αποτελεσματική διαχείριση νέων σεναρίων. Οι συνεχιζόμενες αλληλεπιδράσεις έρευνας και χρηστών με το GPT-4.5 θα παρέχουν περισσότερες πληροφορίες για τις δυνατότητες και τους περιορισμούς του σε αυτόν τον τομέα.
Αναφορές:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://assets.anthropic.com/m/983c85a201a962f/original/alignment-faking-in-large-language-models-full-paper.pdf
[3] https://latenode.com/blog/chatgpt-4-5-review
[4] https://arxiv.org/pdf/2203.02155.pdf
[5] https://www.theverge.com/news/620067/openai-gpt-4-5-nearly-here
[6] https://community.openai.com/t/gpt-4o-not-following-simple-and-clear-instructions/768674
[7] https://www.reddit.com/r/singularity/comments/1bgpmnv/lets_say_gpt45_releases_next_week_what_are_your/
[8] https://www.reddit.com/r/openai/comments/18monbs/gpt_4_has_been_toned_down_significary_and/