Ποιο μοντέλο προσφέρει ισχυρότερη προστασία κατά της κλιμάκωσης ή της εκτέλεσης κώδικα βάσει εργαλείων

βασικές αρχές προστασίας σε ασφαλή μοντέλα πράκτορα LLM

Μια βασική ανακάλυψη για την άμβλυνση των κινδύνων κλιμάκωσης σε παράγοντες LLM είναι η διαίρεση σε δύο ενισχυτικούς παράγοντες: έναν αξιόπιστο πράκτορα (με υψηλά προνόμια) που χειρίζεται ευαίσθητα ή αξιόπιστα δεδομένα και λειτουργίες και έναν αναμφισβήτητο παράγοντα (με περιορισμένα προνόμια) που διαδικασίες ενδεχομένως μη ασφαλείς ή εισροές εισροών. Αυτή η αρχιτεκτονική απομόνωση περιορίζει το πεδίο εφαρμογής του τι κακόβουλο εισροή μπορεί να επηρεάσει και να επιβάλει την αρχή του ελάχιστου προνομίου εξασφαλίζοντας ότι τα μη αξιόπιστα μέρη δεν μπορούν να εκτελέσουν λειτουργίες που θα μπορούσαν να κλιμακώσουν τα δικαιώματα πρόσβασης τους ή να εκτελέσουν αυθαίρετο κώδικα.

Πλαίσιο ακεραιότητας ροής (PFI)

Το PFI είναι ένα προηγμένο πλαίσιο που έχει σχεδιαστεί για να αποτρέψει την κλιμάκωση των προνομίων με την ασφαλή διαχείριση της ροής των προτροπών και των δεδομένων plugin μέσα σε ένα περιβάλλον LLM Agent. Προσφέρει μια ροή εργασίας όπου:

- Ο αξιόπιστος πράκτορας λαμβάνει τις οδηγίες των χρηστών και επεξεργάζεται αξιόπιστα δεδομένα.
- Τα μη αξιόπιστα δεδομένα που ανιχνεύονται από plugins ή εξωτερικές πηγές εκφορτώνονται στον μη αξιόπιστο παράγοντα.
- Ο μη αξιόπιστος πράκτορας έχει περιορισμένα προνόμια και περιορισμένη πρόσβαση σε ευαίσθητα εργαλεία ή λειτουργίες.
- Η επικοινωνία μεταξύ των παραγόντων χρησιμοποιεί κωδικοποιημένες αναφορές δεδομένων και όχι ακατέργαστο περιεχόμενο, εμποδίζοντας την κακόβουλη ένεση στο πλαίσιο του αξιόπιστου πράκτορα.
- Οι προστατευτικές διαδρομές παρακολουθούν τη ροή των μη αξιόπιστων δεδομένων και των οδηγιών ελέγχου, την αύξηση των ειδοποιήσεων εάν ανιχνεύονται μη ασφαλείς λειτουργίες ή μη εξουσιοδοτημένες προσπάθειες κλιμάκωσης προνομίων, με αποτέλεσμα να εμπλέκονται ρητές συγκατάθεσης ή αυτοματοποιημένους μηχανισμούς αποκλεισμού.

Αυτά τα προστατευτικά μηνύματα, τα dataguard και το ctrlguard, είναι ντετερμινιστικά και αποφεύγουν ψευδώς θετικά ή χάνουν επιβάλλοντας τις πολιτικές ροής και ροής ελέγχου που βασίζονται στην αυστηρή παρακολούθηση των επιπέδων προνομίων και της αξιοπιστίας των δεδομένων. Αυτή η αρχιτεκτονική μειώνει σημαντικά τους κινδύνους της εκτέλεσης κακόβουλων εντολών ή κώδικα στο περιβάλλον του πράκτορα.

Συγκριτική αποτελεσματικότητα του PFI σε σχέση με τις προηγούμενες άμυνες

Πριν από τα πλαίσια όπως το PFI, οι κοινές άμυνες βασίστηκαν σε μεγάλο βαθμό στην καθοδήγηση μοντέλων και στο πλαίσιο της μάθησης για να αποθαρρύνουν την επιβλαβής άμεση παραγωγή ή την εκτέλεση εντολών. Ενώ είναι χρήσιμες, αυτές οι πιθανοτικές προσεγγίσεις ήταν ευάλωτες στην παράκαμψη. Άλλες προσεγγίσεις εισήγαγαν αξιόπιστα/μη αξιόπιστα διαμερίσματα, αλλά συχνά δεν είχαν ντετερμινιστικές προφυλακτικές, με αποτέλεσμα ελλιπείς εγγυήσεις ασφαλείας.

Το PFI ενισχύει αυτές τις άμυνες συνδυάζοντας:

- Ταξινόμηση εμπιστοσύνης των πηγών δεδομένων για τον εντοπισμό μη αξιόπιστων περιεχομένων.
- Ο αυστηρός διαχωρισμός προνομίων που επιβάλλεται μέσω πολλαπλών ανακατευθυνόμενων παραγόντων.
- Πρόγραμμα επιβολής της πολιτικής ροής με επίσημους μηχανισμούς προστατευτικής ισοπαλίας.
- Ειδοποίηση σε πραγματικό χρόνο και έγκριση από τους χρήστες σε ύποπτες ροές.

Τα αποτελέσματα από τις δοκιμές αναφοράς δείχνουν ότι το PFI μειώνει δραματικά την κλιμάκωση των προνομίων και τα πρόσθετα ποσοστά επιτυχίας της έγχυσης σε σχεδόν μηδέν, ξεπερνώντας πολύ τα προηγούμενα συστήματα όπως ο αντιδραστικός παράγοντας, η ISOLAGNEPT και η F-Secure LLM, διατηρώντας παράλληλα υψηλότερη λειτουργική χρηστικότητα.

Πώς αυτές οι προστασίες μετριάζουν τους κινδύνους εκτέλεσης κώδικα

Η κλιμάκωση που βασίζεται σε εργαλεία εμφανίζεται συχνά όταν εισερχόμενοι εισροές κόλπα ενός πράκτορα LLM στην έκδοση μη εξουσιοδοτημένων εντολών κελύφους ή εκτέλεση αυθαίρετου κώδικα. Με την απομόνωση των μη αξιόπιστων εισροών σε περιβάλλοντα χαμηλής προτροπής και τους αυστηρούς ελέγχους και τον έλεγχο των ροών δεδομένων, αυτά τα μοντέλα εμποδίζουν την είσοδο του εισβολέα να καταστρέφουν το πλαίσιο εκτέλεσης του αξιόπιστου πράκτορα ή να αυξήσουν τα προνόμια.

Επιπλέον, δεδομένου ότι οι μη αξιόπιστοι παράγοντες έχουν περιορισμένα plugins και δεν υπάρχει πρόσβαση σε εντολές κρίσιμου συστήματος ή ευαίσθητα API, οποιαδήποτε κακόβουλη προσπάθεια εκτέλεσης κώδικα ή κλιμάκωσης προνόμια αποτυγχάνει ή επισημαίνεται νωρίς. Ο αξιόπιστος πράκτορας δεν επεξεργάζεται ποτέ άμεσα μη αξιόπιστα ακατέργαστα δεδομένα, αλλά λειτουργεί μόνο με απολυμαντικά πληρεξούσια ή αναφορές που δεν μπορούν να ενσωματώσουν επιβλαβείς οδηγίες.

Πρόσθετο πλαίσιο για την κλιμάκωση των προνομίων πέρα ​​από το LLMS

Ενώ η εστίαση εδώ είναι σε μοντέλα που βασίζονται σε LLM, αξίζει να σημειωθεί ότι η κλιμάκωση των προνομίων είναι ένα καλά μελετημένο πρόβλημα στην παραδοσιακή ασφάλεια πληροφορικής, όπου οι επιτιθέμενοι εκμεταλλεύονται τα ευπάθειες λογισμικού για να αποκτήσουν μη εξουσιοδοτημένη πρόσβαση ή έλεγχο. Οι κοινές στρατηγικές μετριασμού περιλαμβάνουν:

- Στερεό λειτουργικό σύστημα σε επίπεδο Sandboxing και εμπορευματοκιβωτίων.
- Εξαιρετικά στοιχεία ελέγχου πρόσβασης προνομίων και δικαιώματα που βασίζονται σε ρόλους.
- Περιεκτικές αναθεωρήσεις κώδικα και ασφαλείς πρακτικές κωδικοποίησης.
- Χρήση συστημάτων πρόληψης εισβολών (IPS) και αυτοματοποιημένα εργαλεία ανίχνευσης και αποκλεισμού.

Αυτές οι αρχές συμπληρώνουν και μερικές φορές στηρίζουν ασφαλή ανάπτυξη μοντέλων, ειδικά όταν η LLMS ενσωματώνεται στην ευρύτερη υποδομή συστήματος.

***