Kõige tugevamad kaitsed tööriistapõhise privileegide eskalatsiooni või koodide täitmise haavatavuste vastu pärineb praegu arenenud turvalistest agentide kujundustest suure keelemudeli (LLM) raamistikes, eriti need, kes kasutavad kaheagendilist arhitektuuri ja kiire voolu terviklikkuse (PFI) põhimõteid. Need mudelid eristavad end usaldusväärse ja ebausaldusväärse andmetöötluse eraldamisega, rangete privileegide eraldamise jõustamisega ja deterministlike turvatööde rakendamisel, et vältida pahatahtlikku kiiret süstimist ja volitamata juurdepääsu ressurssidele.
Põhikaitse põhimõtted turvalistes LLM -agentide mudelites
LLM-i ainete eskalatsiooni riskide leevendamisel on peamine läbimurre jagamine kaheks omavaheline vahendiks: usaldusväärne agent (kõrge privileegidega), mis tegeleb tundlike või usaldusväärsete andmete ja toimingutega, ja ebausaldusväärse agendiga (piiratud privileegidega), mis töötlevad potentsiaalselt ebameeldiva või ründajaga seotud sisendiga. See arhitektuuriline isolatsioon piirab seda, mida pahatahtlik panus võib mõjutada, ja jõustab väikseima privileegi põhimõtte, tagades, et ebausaldusväärsed osad ei suuda teha toiminguid, mis võiksid nende juurdepääsuõigusi eskaleerida, või täita suvalist koodeksi.
kiire voolu terviklikkuse (PFI) raamistik
PFI on täiustatud raamistik, mis on loodud privileegide eskaleerumise vältimiseks, juhtides turvaliselt juhtnööride ja pistikprogrammide andmete voogu LLM -agendi keskkonnas. See pakub töövoogu, kus:
- Usaldusväärne agent võtab kasutajaid vastu ja töötleb usaldusväärseid andmeid.
- Pistikprogrammidest või välistest allikatest tuvastatud ebausaldusväärsed andmed laaditakse ebausaldusväärsesse ainesse.
- Usaldusel agendil on piiratud privileegid ja piiratud juurdepääs tundlikele tööriistadele või toimingutele.
- Agentide vaheline suhtlus kasutab kodeeritud andmete viiteid, mitte toorest ebausaldusväärset sisu, takistades pahatahtlikku süstimist usaldusväärse agendi konteksti.
- Kaitsjad jälgivad ebausaldusväärsete andmete ja juhtimisjuhiste voogu, tõstes teateid, kui tuvastatakse ohtlikud toimingud või loata privileegide eskalatsiooni katsed, hõlmates seega selgesõnalist kasutaja nõusolekut või automatiseeritud blokeerimismehhanisme.
Need kaitsealad, Dataguard ja CtrlGuard, on deterministlikud ja väldivad valepositiivseid tulemusi või puudusi, jõudes andmevoo ja juhtimisvoo poliitikate jõustamisel, tuginedes privileegide taseme ja andmete usaldusväärsuse rangele jälgimisele. See arhitektuur vähendab oluliselt agendi keskkonnas pahatahtlike käskude või koodi teostamise riske.
PFI võrdlev tõhusus varasemate kaitsemehhanismide suhtes
Enne raamistikuid nagu PFI, tuginesid ühised kaitsemehhanismid suuresti mudeli peenhäälestamise ja kontekstide sisenemisele, et takistada kahjulikku kiiret genereerimist või käskude täitmist. Ehkki need tõenäosuslikud lähenemisviisid olid abivalmid, olid ümbersõidu suhtes haavatavad. Muud lähenemisviisid tutvustasid usaldusväärseid/ebausaldusväärseid partitsioone, kuid neil puudus sageli deterministlikud kaitsealad, mille tulemuseks oli mittetäielikud turvagarantiid.
PFI suurendab neid kaitsemehhanisme, ühendades:
- Usaldage andmeallikate klassifikatsiooni, et tuvastada ebausaldusväärne sisu.
- Range privileegide eraldamine jõustatakse mitme suunatud agendi kaudu.
- Voolu poliitika kiire jõustamine koos ametlike kaitsemehhanismidega.
- Reaalajas hoiatamine ja kasutaja heakskiit kahtlaste voogude korral.
Võrdluskatsete tulemused näitavad, et PFI vähendab dramaatiliselt privileegide eskaleerimist ja kiiret süstimise rünnaku õnnestumise määra nullile, edestades kaugelt varasemaid süsteeme nagu React Agent, Isolategpt ja F-Secure LLM, säilitades samal ajal suurema operatiivse kasutatavuse.
Kuidas need kaitsed leevendavad koodi täitmisriske
Tööriistapõhine eskalatsioon tekib sageli siis, kui ründaja sisend trikkib LLM-i agendile volitamata Shelli käskude väljaandmiseks või suvalise koodi läbiviimiseks. Isoleerides ebausaldusväärseid sisendeid madala privilegeerimiskeskkonnas ning rangelt skriinimise ja andmete voogude juhtimise korral takistavad need mudelid ründaja sisendist usaldusväärse agendi täitmise konteksti või privileegide tõstmist.
Veelgi enam, kuna ebausaldusväärsetel agentidel on piiratud pistikprogrammid ja neil puuduvad juurdepääsu kriitilistele süsteemi käskudele ega tundlikele API -dele, siis mis tahes pahatahtlik katse koodi käivitamiseks või privileegide suurendamiseks ebaõnnestub või on see varakult märgitud. Usaldusväärne agent ei töötle kunagi otsekoheseid töötlemata andmeid, vaid töötab ainult desinfitseeritud puhverserverite või viidetega, mis ei suuda kahjulikke juhiseid kinnistada.
Täiendav kontekst privileegide eskalatsiooni kohta väljaspool LLMS -i
Ehkki siin keskendutakse LLM-põhistele mudelitele, väärib märkimist, et privileegide eskalatsioon on traditsioonilise IT-turvalisuse hea uuritud probleem, kus ründajad kasutavad tarkvara haavatavusi, et saada volitamata juurdepääsu või kontrolli. Ühised leevendusstrateegiad hõlmavad:
- Range opsüsteemi tasemel liivakast ja konteineerimine.
- Pritte Privilege juurdepääsukontrollid ja rollipõhised õigused.
- Põhjalikud koodide ülevaated ja turvalised kodeerimispraktikad.
- sissetungimise ennetamise süsteemide (IPS) ja automatiseeritud tööriistade kasutamine tuvastamiseks ja blokeerimiseks.
Need põhimõtted täiendavad ja toetavad mõnikord turvalisi mudeli juurutamist, eriti kui LLM -id on integreeritud laiema süsteemi infrastruktuuriga.
***
Kokkuvõtteks pakuvad kaheagentide arhitektuuride ja deterministlike valvuritega kiire voolu terviklikkust rakendavad mudelid tugevaimat kaasaegset kaitset tööriistapõhise privileegi eskaleerimise ja volitamata koodi täitmise vastu LLM-i keskkondades. Nende lähenemisviis ebausaldusväärsete sisendite eraldamisele, väikseima privileegi jõustamisele ning andmete ja kontrollvoogude rangelt jälgimisele saavutab kiire süstimise ja eskalatsioonirünnakute peaaegu täieliku leevendamise, ületades varasema ML-põhise või agendi eraldamise kaitsemehhanismi.