Το GPT-4.5 χρησιμοποιεί αρκετές τεχνικές για να χειριστεί αντικρουόμενα μηνύματα, ιδιαίτερα μέσω του συστήματος ιεραρχίας διδασκαλίας. Αυτή η ιεραρχία καθορίζει μια εντολή προτεραιότητας για μηνύματα, διασφαλίζοντας ότι τα μηνύματα του συστήματος έχουν προτεραιότητα έναντι των μηνυμάτων χρήστη, του ιστορικού συνομιλίας και των εξόδων εργαλείων [1] [2].
Ιεραρχία οδηγιών
1. Τα μηνύματα συστήματος έναντι μηνυμάτων χρήστη: Το GPT-4.5 εκπαιδεύεται να ακολουθεί τις οδηγίες σε μηνύματα συστήματος σε σύγκρουση μηνυμάτων χρήστη. Αυτό είναι ζωτικής σημασίας σε σενάρια όπου οι εισόδους των χρηστών ενδέχεται να προσπαθήσουν να παρακάμψουν τις οδηγίες ασφαλείας ή τους κανόνες μορφοποίησης που ορίζονται από το σύστημα [1] [2].
2. Επίλυση συγκρούσεων: Το μοντέλο αξιολογείται σχετικά με την ικανότητά του να επιλύει συγκρούσεις μεταξύ διαφορετικών τύπων μηνυμάτων. Για παράδειγμα, εάν ένα μήνυμα συστήματος καθοδηγεί το μοντέλο να μην αποκαλύψει μια συγκεκριμένη φράση ή κωδικό πρόσβασης και ένα μήνυμα χρήστη προσπαθεί να εξαπατήσει το μοντέλο για να το πράξει, το GPT-4.5 έχει σχεδιαστεί για να τηρεί τις οδηγίες του μηνύματος του συστήματος [1].
3. Εκπαίδευση και αξιολόγηση: Το GPT-4.5 υφίσταται εκτεταμένη κατάρτιση και αξιολόγηση για να διασφαλίσει ότι μπορεί να χειριστεί σύνθετα σενάρια όπου συγκρούσεις μηνυμάτων συστήματος και χρηστών. Αυτό περιλαμβάνει σενάρια όπου το μοντέλο πρέπει να επιλέξει μεταξύ μιας εντολής συστήματος ή του αιτήματος ενός χρήστη που έρχεται σε αντίθεση με το [1] [2].
Εποπτική ρύθμιση (SFT)
Το GPT-4.5 χρησιμοποιεί επίσης εποπτευόμενη τελειοποίηση (SFT), η οποία περιλαμβάνει την κατάρτιση του μοντέλου σε συγκεκριμένα παραδείγματα όπου υπάρχουν αντικρουόμενα μηνύματα. Αυτή η τεχνική συμβάλλει στη βελτίωση της ικανότητας του μοντέλου να αναγνωρίζει και να δίνει προτεραιότητα στις οδηγίες του συστήματος σχετικά με τις εισόδους των χρηστών, ενισχύοντας την απόδοσή του στον χειρισμό αντικρουόμενων σεναρίων [3].
νέες τεχνικές ευθυγράμμισης
Επιπλέον, η GPT-4.5 ενσωματώνει νέες τεχνικές ευθυγράμμισης που ενισχύουν την κατανόηση των ανθρώπινων προτιμήσεων και της πρόθεσης. Αυτές οι τεχνικές βοηθούν το μοντέλο να ερμηνεύσει καλύτερα το πλαίσιο και την πρόθεση πίσω από τα μηνύματα του συστήματος και του χρήστη, επιτρέποντάς του να λαμβάνει πιο ενημερωμένες αποφάσεις κατά τη διαχείριση των συγκρούσεων [5].
Συνολικά, η προσέγγιση της GPT-4.5 για τη διαχείριση αντικρουόμενων μηνυμάτων συνδυάζει προηγμένες μεθόδους κατάρτισης με μια δομημένη ιεραρχία οδηγιών για να διασφαλίσει ότι το μοντέλο δίνει προτεραιότητα στην ασφάλεια και την τήρηση των κατευθυντήριων γραμμών του συστήματος.
Αναφορές:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://arxiv.org/html/2502.08745v1
[3] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[4] https://community.openai.com/t/how-to-improve-gpt-4-api-output-length-and-sructure/1025132
[5] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[6] https://community.openai.com/t/how-to-deal-with-lazy-gpt-4/689286
[7] https://openai.com/index/introducing-gpt-4-5/
[8] https://www.reddit.com/r/openai/comments/18monbs/gpt_4_has_been_toned_down_significary_and/