Araç tabanlı ayrıcalık artış veya kod yürütme güvenlik açıklarına karşı en güçlü korumalar şu anda büyük dil modeli (LLM) çerçevelerindeki gelişmiş güvenli ajan tasarımlarından, özellikle çift ajan mimarisi ve hızlı akış bütünlüğü (PFI) ilkeleri kullananlardan gelmektedir. Bu modeller, güvenilir ve güvenilmeyen veri işleme izole ederek, katı ayrıcalık ayrılmasını uygulayarak ve kötü niyetli hızlı enjeksiyon ve yetkisiz kaynak erişimini önlemek için deterministik güvenlik korkuluklarını uygulayarak kendilerini ayırt eder.
Güvenli LLM Agent Modellerinde Çekirdek Koruma İlkeleri
LLM ajanlarındaki yükseltme risklerini azaltmada önemli bir atılım, iletişimsel iki ajana bölünmesidir: hassas veya güvenilir veri ve operasyonları işleyen güvenilir bir ajan (yüksek ayrıcalıklarla) ve potansiyel olmayan veya saldırgan kontrollü girdi işleyen güvenilmez bir ajan (kısıtlı ayrıcalıklarla). Bu mimari izolasyon, güvenilmeyen parçaların erişim haklarını artırabilecek veya keyfi kod yürütebilecek işlemler gerçekleştirememesini sağlayarak kötü niyetli girdinin etkileyebileceği ve en az ayrıcalık ilkesini uygulayabileceği kapsamını sınırlar.
hızlı akış bütünlüğü (PFI) çerçevesi
PFI, bir LLM ajan ortamında bilgi istemleri ve eklenti verilerinin akışını güvenli bir şekilde yöneterek ayrıcalık artışını önlemek için tasarlanmış gelişmiş bir çerçevedir. Bir iş akışı sunar:
- Güvenilir aracı, kullanıcı istemleri alır ve güvenilir verileri işler.
- Eklentilerden veya harici kaynaklardan algılanan güvenilmeyen veriler güvenilmeyen aracısına boşaltılır.
- Güvenilmeyen Temsilci ayrıcalıkları ve hassas takım veya işlemlere sınırlı erişimi kısıtlamıştır.
- Temsilciler arasındaki iletişim, güvenilir ajanın bağlamına kötü niyetli enjeksiyonu önleyerek ham güvenilmeyen içerik yerine kodlanmış veri referanslarını kullanır.
- Korkuluklar, güvenilmeyen verilerin ve kontrol talimatlarının akışını izler, güvenli olmayan işlemler veya yetkisiz ayrıcalık artış girişimleri tespit edilirse uyarılar oluşturur, böylece açık kullanıcı onayı veya otomatik bloke etme mekanizmaları içerir.
Bu korkuluklar, Dataguard ve CtrlGuard, deterministiktir ve ayrıcalık seviyelerinin ve veri güvenilirliğinin sıkı bir şekilde izlenmesine dayanarak veri akışı ve kontrol akışı politikalarını uygulayarak yanlış pozitiflerden veya kaçırmalardan kaçının. Bu mimari, aracı ortamında kötü niyetli komutlar veya kod yürütme risklerini büyük ölçüde azaltır.
PFI'nın önceki savunmalara göre karşılaştırmalı etkinliği
PFI gibi çerçevelerden önce, Common savunmalar büyük ölçüde model ince ayarlama ve zararlı hızlı nesil veya komuta yürütmeyi caydırmayı caydırmayı öğrenmeye dayanıyordu. Yararlı olsa da, bu olasılık yaklaşımları baypas için savunmasızdı. Diğer yaklaşımlar güvenilir/güvenilmeyen bölümler getirdi, ancak genellikle deterministik korkuluklardan yoksundu ve bu da eksik güvenlik garantilerine neden oldu.
PFI bu savunmaları birleştirerek geliştirir:
- Güvenilmeyen içeriği tanımlamak için veri kaynaklarının güven sınıflandırması.
- Çoklu yönlendirilmiş ajanlar aracılığıyla uygulanan katı ayrıcalık ayrımı.
- Resmi korkuluk mekanizmaları ile hızlı akış politikası uygulama.
- Şüpheli akışlarda gerçek zamanlı uyarma ve kullanıcı onayı.
Kıyaslama testlerinden elde edilen sonuçlar, PFI'nin ayrıcalık artışını ve hızlı enjeksiyon saldırısı başarı oranlarını sıfıra yakın bir şekilde azalttığını, daha yüksek operasyonel kullanılabilirliği korurken React Agent, Isolategpt ve F-Secure LLM gibi daha önceki sistemleri daha iyi performans gösterdiğini göstermektedir.
Bu korumalar kod yürütme risklerini nasıl hafifletir
Araç tabanlı yükselme genellikle saldırgan girişi bir LLM ajanını yetkisiz kabuk komutları yayınlamaya veya keyfi kod yürütmeye yönlendirdiğinde ortaya çıkar. Bu modeller, düşük ayrıcalıklı ortamlarda güvenilmeyen girişleri izole ederek ve veri akışlarını titizlikle tarayarak ve kontrol ederek saldırgan girişinin güvenilir temsilcinin yürütme bağlamını bozmasını veya ayrıcalıkları yükseltmesini önler.
Ayrıca, güvenilmeyen ajanların sınırlı eklentileri ve kritik sistem komutlarına veya hassas API'lere erişimi olmadığından, kod yürütmek veya ayrıcalıkları artırmak için kötü niyetli herhangi bir girişim başarısız olur veya erken işaretlenir. Güvenilir ajan hiçbir zaman doğrudan güvenilmeyen ham verileri işlemez, ancak yalnızca zararlı talimatlar yerleştiremeyen sterilize edilmiş vekiller veya referanslarla çalışır.
LLM'lerin ötesinde ayrıcalık yükselişine ek bağlam
Buradaki odak noktası LLM tabanlı modeller üzerinde olsa da, ayrıcalık artışının, saldırganların yetkisiz erişim veya kontrol kazanmak için yazılım güvenlik açıklarından yararlandığı geleneksel BT güvenliğinde iyi çalışılmamış bir sorun olduğunu belirtmek gerekir. Ortak azaltma stratejileri şunları içerir:
- Sıkı çalışma sistemi düzeyinde kum havuzu ve konteynerizasyon.
- En az ayrıcalık erişim kontrolleri ve rol tabanlı izinler.
- Kapsamlı kod incelemeleri ve güvenli kodlama uygulamaları.
- Algılama ve engelleme için saldırı önleme sistemlerinin (IPS) ve otomatik araçların kullanımı.
Bu ilkeler, özellikle LLM'ler daha geniş sistem altyapısı ile entegre edildiğinde, güvenli model dağıtımlarını tamamlar ve bazen destekler.
***
Sonuç olarak, çift ajan mimarileri ve deterministik korkuluklarla hızlı akış bütünlüğünü uygulayan modeller, LLM ortamlarında araç tabanlı ayrıcalık artış ve yetkisiz kod yürütülmesine karşı en güçlü çağdaş korumaları sunmaktadır. Güvenilmeyen girdileri izole etme, en az ayrıcalık uygulama ve veri ve kontrol akışlarını titizlikle izleme yaklaşımları, hızlı enjeksiyon ve artış saldırılarının tam olarak azaltılmasını sağlayarak önceki ML tabanlı veya ajan izolasyon savunmalarını aşıyor.