Η ιεραρχία διδασκαλίας της GPT-4.5 έχει σχεδιαστεί για να μετριάσει τον κίνδυνο άμεσων ενέσεων, καθορίζοντας μια σαφή σειρά προτεραιότητας για διαφορετικούς τύπους οδηγιών. Αυτή η ιεραρχία εξασφαλίζει ότι τα μηνύματα του συστήματος, τα οποία καθορίζονται από τους προγραμματιστές, υπερισχύουν των μηνυμάτων χρήστη και άλλων εισροών. Δείτε πώς λειτουργεί και πώς βοηθά στην πρόληψη των επιθέσεων άμεσης ένεσης:
Κατανόηση άμεσων ενέσεων
Οι έγκαιρες επιθέσεις έγχυσης εμφανίζονται όταν οι κακόβουλοι χρήστες χειρίζονται μοντέλα AI παρέχοντας εισροές που υπερισχύουν των αρχικών οδηγιών του συστήματος. Αυτό μπορεί να οδηγήσει σε ακούσια συμπεριφορά, όπως η αποκάλυψη ευαίσθητων πληροφοριών ή η εκτέλεση μη εξουσιοδοτημένων ενεργειών [2] [3].Η ιεραρχία εντολών
Η ιεραρχία εντολών στο GPT-4.5 δίνει προτεραιότητα στις οδηγίες που βασίζονται στην πηγή και τη σημασία τους. Κατηγοριοποιεί τις εισόδους σε διάφορους τύπους, που συνήθως περιλαμβάνουν:- μηνύματα συστήματος: Αυτές είναι οι οδηγίες υψηλότερης προτεραιότητας που ορίζονται από τους προγραμματιστές. Ορίζουν τα κύρια καθήκοντα και τους περιορισμούς που πρέπει να ακολουθήσει το μοντέλο.
- Μηνύματα χρήστη: Αυτές είναι εισροές που παρέχονται από τους χρήστες και θεωρούνται χαμηλότερες σε προτεραιότητα από τα μηνύματα του συστήματος.
- Ιστορικό συνομιλίας και εξόδους εργαλείων: Αυτά μπορεί επίσης να επηρεάσουν το μοντέλο, αλλά είναι γενικά χαμηλότερα σε προτεραιότητα από τα μηνύματα χρήστη [1] [3].
μετριασμός των άμεσων ενέσεων
Για να μετριάσουμε τις επιθέσεις άμεσης έγχυσης, η ιεραρχία εντολών εξασφαλίζει ότι η GPT-4.5 ακολουθεί τις ακόλουθες αρχές:- Προτεραιότητα: Το μοντέλο δίνει προτεραιότητα στα μηνύματα συστήματος στις εισόδους χρήστη. Εάν ένας χρήστης επιχειρεί να εισαγάγει μια προτροπή που έρχεται σε αντίθεση με τις οδηγίες του συστήματος, το μοντέλο θα προεπιλεγεί στην αρχική καθοδήγηση [3] [5].
- Ανίχνευση κακοποιημένων προτροπών: Το GPT-4.5 εκπαιδεύεται για να εντοπίσει και να αγνοήσει τις προτροπές που έρχονται σε σύγκρουση με τις οδηγίες του συστήματος. Για παράδειγμα, εάν ένας χρήστης εισάγει "ξεχάστε όλες τις προηγούμενες οδηγίες", το μοντέλο θα το αναγνωρίσει ως μια κακή ευθυγράμμιση και θα ανταποκριθεί ανάλογα [3].
-Επιλεκτική παραβίαση των οδηγιών χαμηλότερης προτεραιότητας: Το μοντέλο έχει σχεδιαστεί για να αγνοεί επιλεκτικά τις οδηγίες χαμηλότερης προτεραιότητας όταν έρχονται σε αντίθεση με τις υψηλότερες προτεραιότητες. Αυτό εξασφαλίζει ότι το μοντέλο διατηρεί την επιδιωκόμενη συμπεριφορά του ακόμη και όταν αντιμετωπίζει κακόβουλες εισροές [7].
Εκπαίδευση και αξιολόγηση
Το GPT-4.5 εκπαιδεύεται χρησιμοποιώντας τεχνικές που υπογραμμίζουν την ιεραρχία εντολών, όπως η παραγωγή συνθετικών δεδομένων και η απόσταξη περιβάλλοντος. Αυτές οι μέθοδοι βοηθούν το μοντέλο να μάθει να δίνει προτεραιότητα στις οδηγίες αποτελεσματικά και να αντισταθεί σε κακόβουλες εισροές [6] [7]. Η απόδοση του μοντέλου αξιολογείται σε σενάρια όπου τα μηνύματα του συστήματος έρχονται σε σύγκρουση με τις εισόδους των χρηστών, εξασφαλίζοντας ότι συμμορφώνεται με την ιεραρχία εντολών και διατηρεί τα χαρακτηριστικά ασφαλείας του [5].Συνολικά, η ιεραρχία εντολών στο GPT-4.5 ενισχύει την ασφάλεια του μοντέλου εξασφαλίζοντας ότι ακολουθεί τις προβλεπόμενες οδηγίες που καθορίζονται από τους προγραμματιστές, ακόμη και ενόψει των αντιφατικών ή κακόβουλων εισροών χρηστών. Αυτή η προσέγγιση είναι ζωτικής σημασίας για την οικοδόμηση αξιόπιστων συστημάτων AI που μπορούν να λειτουργούν με ασφάλεια σε πραγματικές εφαρμογές.
Αναφορές:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruction hierarchy
[4] https://dev.to/jasny/protecting-againstprpt-injection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2