A szerszám-alapú kiváltságok eszkalációja vagy a kód végrehajtásának sebezhetőségének legerősebb védelme jelenleg a fejlett biztonságos ügynökök tervezéséből származik, nagy nyelvi modellben (LLM) keretekből, különösen azokból, amelyek kettős ügynök architektúrát és azonnali áramlási integritást (PFI) használnak. Ezek a modellek megkülönböztetik magukat a megbízható és nem megbízható adatfeldolgozás elkülönítésével, a szigorú kiváltságok elválasztásának végrehajtásával és a determinisztikus biztonsági védőkorlát végrehajtásával, hogy megakadályozzák a rosszindulatú azonnali injekciót és az jogosulatlan erőforrás -hozzáférést.
Core védelmi alapelvei a biztonságos LLM ügynök modellekben
Az LLM-ügynökök eszkalációs kockázatainak enyhítésének kulcsfontosságú áttörése a két interkommunikációs ágensre való felosztás: egy megbízható ügynök (nagy kiváltságokkal), amely érzékeny vagy megbízható adatokat és műveleteket kezeli, és egy nem bizalmatlan ügynök (korlátozott jogosultságokkal), amely feldolgozza a potenciálisan nem biztonságos vagy a támadó által irányított bemenetet. Ez az építészeti elszigeteltség korlátozza annak a hatókörét, hogy a rosszindulatú bemenetek milyen hatással lehetnek, és végrehajtja a legkevesebb kiváltság elvét azáltal, hogy biztosítja, hogy a nem megbízható részek nem tudnak végrehajtani olyan műveleteket, amelyek eszkalálhatják a hozzáférési jogaikat, vagy önkényes kódot hajthatnak végre.
A PROSSE FLOW Integrity (PFI) keretrendszer
A PFI egy fejlett keretrendszer, amelynek célja a privilégiumok eszkalációjának megakadályozása azáltal, hogy biztonságosan kezelik a PROCTS és a plugin -adatok áramlását az LLM ügynöki környezetben. Olyan munkafolyamatot kínál, ahol:
- A megbízható ügynök használja a felhasználói utasításokat és feldolgozza a megbízható adatokat.
- A pluginokból vagy külső forrásokból észlelt nem megbízható adatokat ki kell rakni a nem megbízható szerbe.
- A nem megbízhatatlan ügynök korlátozott jogosultságokkal és korlátozott hozzáféréssel rendelkezik az érzékeny szerszámokhoz vagy műveletekhez.
- Az ágensek közötti kommunikáció a kódolt adathivatkozásokat használja, nem pedig a nyers nem megbízható tartalmat, megakadályozva a rosszindulatú injekciót a megbízható ügynök kontextusába.
- A védőkorlátok figyelemmel kísérik a nem megbízható adatok és a vezérlési utasítások áramlását, riasztások emelését, ha nem biztonságos műveletek vagy jogosulatlan kiváltsági fokozódási kísérletek észlelnek, ezáltal kifejezett felhasználói hozzájárulást vagy automatizált blokkoló mechanizmusokat tartalmaznak.
Ezek a védőkorlátok, a DataGuard és a CtrlGuard determinisztikusak, és elkerülik a hamis pozitív eredményeket vagy hiányosságokat azáltal, hogy érvényesítik az adatáramlási és ellenőrzési áramlási politikákat a kiváltsági szintek és az adatok megbízhatóságának szigorú nyomon követése alapján. Ez az architektúra nagymértékben csökkenti a rosszindulatú parancsok vagy kódok végrehajtásának kockázatait az ügynöki környezetben.
A PFI összehasonlító hatékonysága a korábbi védekezés során
A keretekhez, mint például a PFI, a közös védekezés nagymértékben támaszkodott a modell finomhangolására és a kontextusban történő megtanulásra, hogy visszatartsa a káros prompt generáció vagy a parancs végrehajtását. Bár hasznos, ezek a valószínűségi megközelítések kiszolgáltatottak voltak a bypass -ra. Más megközelítések bevezettek megbízható/megbízhatatlan partíciókat, de gyakran hiányoztak determinisztikus védőkorlátok, amelyek hiányos biztonsági garanciákat eredményeztek.
A PFI javítja ezeket a védekezést azáltal, hogy kombinálja:
- Az adatforrások bizalmi osztályozása a nem megbízható tartalom azonosításához.
- Szigorú kiváltságok szétválasztása, amelyet több átirányított ágensen keresztül hajtanak végre.
- Azonnali áramlási politika végrehajtása hivatalos védőkorlát mechanizmusokkal.
- Valós idejű riasztás és a felhasználói jóváhagyás gyanús áramlásokon.
A benchmark-tesztek eredményei azt mutatják, hogy a PFI drasztikusan csökkenti a kiváltságok fokozódását és az azonnali injekciós támadás sikerességi arányát a közel nullára, messze felülmúlja a korábbi rendszereket, mint például a React Agent, az Isolategpt és az F-Secure LLM, miközben fenntartja a magasabb operatív használhatóságot.
###, hogy ezek a védelem hogyan csökkenti a kód végrehajtási kockázatait
A szerszám-alapú eszkaláció gyakran akkor merül fel, amikor a támadó beviteli az LLM ügynököt jogosulatlan héjparancsok kiadására vagy önkényes kód végrehajtására. Az alacsony privile-ben működő környezetben nem megbízható bemenetek elkülönítésével, valamint az adatáramok szigorú szűrésével és ellenőrzésével ezek a modellek megakadályozzák a támadó bemeneteit a megbízható ügynök végrehajtási kontextusának megsérülésében vagy a privilégiumok emelkedésében.
Sőt, mivel a nem megbízható szerek korlátozott pluginokkal rendelkeznek, és nincs hozzáférés a kritikus rendszerparancsokhoz vagy az érzékeny API -khoz, a kód végrehajtásának vagy a kiváltságok fokozására irányuló rosszindulatú kísérlet nem sikerül, vagy korán megjelölve. A megbízható ügynök soha nem dolgozza fel közvetlenül a nem megbízható nyers adatokat, hanem csak fertőtlenített proxykokkal vagy referenciákkal működik, amelyek nem tudnak beágyazni a káros utasításokat.
További kontextus a kiváltságok fokozódásáról az LLMS -en túl
Noha itt a hangsúly az LLM-alapú modellekre összpontosít, érdemes megjegyezni, hogy a kiváltságok fokozódása a hagyományos informatikai biztonság jól tanulmányozott problémája, ahol a támadók kihasználják a szoftver sebezhetőségét, hogy jogosulatlan hozzáférést vagy vezérlést szerezzenek. A gyakori enyhítési stratégiák a következők:
- Szigorú operációs rendszer szintű homokozó és konténerizálás.
- A legkevésbé privilégiumi hozzáférési ellenőrzések és a szerep-alapú engedélyek.
- Átfogó kód -áttekintések és biztonságos kódolási gyakorlatok.
- A behatolásmegelőző rendszerek (IPS) és az automatizált eszközök használata az észleléshez és a blokkoláshoz.
Ezek az alapelvek kiegészítik, és néha alátámasztják a biztonságos modell telepítését, különösen akkor, ha az LLM -ek integrálódnak a szélesebb körű infrastruktúrával.
***
Összegezve, az azonnali áramlási integritást a kettős ügynök architektúrákkal és a determinisztikus védőkorlátokkal való bevezető modellek a legerősebb kortárs védelmet nyújtják a szerszám-alapú kiváltságok fokozódása és a jogosulatlan kód végrehajtás ellen az LLM környezetben. A nem bizalmatlan bemenetek elkülönítésére, a legkevesebb kiváltság végrehajtására, valamint az adatok és a kontroll áramlások szigorú megfigyelésére vonatkozó megközelítésük eléri az azonnali injekciós és eszkalációs támadások szinte teljes enyhítését, meghaladva a korábbi ML-alapú vagy ügynökök izolációs védekezését.