ما هو النموذج الذي يوفر حماية أقوى ضد التصعيد القائم على الأدوات أو تنفيذ الكود

مبادئ الحماية الأساسية في نماذج وكيل LLM الآمنة

من بين الاختراق الرئيسي في التخفيف من مخاطر التصعيد في عوامل LLM الانقسام إلى اثنين من العوامل المتواصلة: وكيل موثوق به (مع امتيازات عالية) يتعامل مع البيانات والعمليات الحساسة أو الموثوق بها ، وعامل غير موثوق (مع امتيازات مقيدة) يحتمل أن يعالج المدخلات غير الآمنة أو المهاجمة. تحد هذه العزلة المعمارية من نطاق ما يمكن أن تؤثر عليه المدخلات الضارة ويفرض مبدأ الامتياز الأقل من خلال ضمان أن الأجزاء غير الموثوقة لا يمكنها إجراء عمليات يمكن أن تصعد حقوق الوصول أو تنفيذ القانون التعسفي.

إطار عمل تدفق التدفق (PFI)

PFI هو إطار عمل متقدم مصمم لمنع تصعيد الامتياز من خلال إدارة تدفق المطالبات وبيانات البرنامج المساعد بشكل آمن داخل بيئة وكيل LLM. إنه يوفر سير عمل حيث:

- يستقبل الوكيل الموثوق بمطالبات المستخدم وعمليات البيانات الموثوقة.
- يتم تحميل البيانات غير الموثوقة المكتشفة من المكونات الإضافية أو المصادر الخارجية إلى العامل غير الموثوق به.
- قام الوكيل غير الموثوق بالموثوقين بامتيازات محدودة الوصول إلى الأدوات أو العمليات الحساسة.
- يستخدم التواصل بين الوكلاء مراجع البيانات المشفرة بدلاً من المحتوى غير الموثوق به ، مما يمنع الحقن الخبيث في سياق الوكيل الموثوق.
- تراقب الدرابزين تدفق تعليمات البيانات والتحكم غير الموثوقة ، ورفع التنبيهات إذا تم اكتشاف عمليات غير آمنة أو محاولات تصعيد الامتياز غير المصرح بها ، وبالتالي تتضمن موافقة المستخدم الصريحة أو آليات الحظر الآلية.

هذه الدرابزين ، Dataguard و Ctrlguard ، هي حتمية وتجنب إيجابيات أو خاطئين من خلال تطبيق سياسات تدفق البيانات والتحكم في التدفق بناءً على تتبع صارم لمستويات الامتياز وجدارة البيانات. هذه الهندسة المعمارية تقلل إلى حد كبير من مخاطر تنفيذ الأوامر الضارة أو الكود داخل بيئة الوكيل.

الفعالية النسبية لـ PFI على الدفاعات السابقة

قبل الأطر مثل PFI ، اعتمدت الدفاعات الشائعة اعتمادًا كبيرًا على صقل النماذج والتعلم داخل السياق لتثبيط الجيل المطبق الضار أو تنفيذ الأوامر. في حين أن هذه الأساليب الاحتمالية كانت عرضة للتجاوز. قدمت الأساليب الأخرى أقسامًا موثوقة/غير موثوقة ولكنها غالبًا ما كانت تفتقر إلى الدرابزين الحتمي ، مما يؤدي إلى ضمانات أمنية غير كاملة.

PFI يعزز هذه الدفاعات من خلال الجمع:

- تصنيف الثقة لمصادر البيانات لتحديد المحتوى غير الموثوق به.
- فصل امتياز صارم يتم فرضه من خلال عوامل إعادة توجيه متعددة.
- إنفاذ سياسة التدفق السريع مع آليات الدرابزين الرسمية.
- التنبيه في الوقت الفعلي وموافقة المستخدم على التدفقات المشبوهة.

تُظهر النتائج من الاختبارات القياسية أن PFI يقلل بشكل كبير من تصعيد الامتياز ومعدلات نجاح هجوم الحقن الفوري إلى ما يقرب من الصفر ، تفوق أنظمة سابقة مثل React Agent و Assolategpt و F-Secure LLM ، مع الحفاظ على قابلية استخدام التشغيل أعلى.

كيف تخفف هذه الحماية من مخاطر تنفيذ الكود

غالبًا ما ينشأ التصعيد القائم على الأدوات عندما يقوم المهاجم بإدخال وكيل LLM في إصدار أوامر SHELL غير مصرح بها أو تنفيذ رمز تعسفي. من خلال عزل المدخلات غير الموثوق بها في بيئات منخفضة الإزاحة وفحص تدفقات البيانات والتحكم فيها بشكل صارم ، تمنع هذه النماذج إدخال المهاجمين من إفساد سياق تنفيذ الوكيل الموثوق أو ارتفاع امتيازات.

علاوة على ذلك ، نظرًا لأن الوكلاء غير الموثوق بهم لديهم ملحقات محدودة ولا يمكن الوصول إلى أوامر النظام الهامة أو واجهات برمجة التطبيقات الحساسة ، فإن أي محاولة ضارة لتنفيذ الكود أو تصعيد الامتيازات تفشل أو يتم وضع علامة عليها مبكرًا. لا يعالج الوكيل الموثوق به أبدًا البيانات الأولية غير الموثوق بها ، ولكنها تعمل فقط مع الوكلاء أو المراجع المعقدة التي لا يمكن تضمين تعليمات ضارة.

سياق إضافي على تصعيد الامتياز وراء LLMS

على الرغم من أن التركيز هنا على الطرز المستندة إلى LLM ، تجدر الإشارة إلى أن تصعيد الامتياز يمثل مشكلة مدروسة جيدًا في أمان تكنولوجيا المعلومات التقليدي ، حيث يستغل المهاجمون نقاط الضعف للبرامج للوصول أو التحكم غير المصرح به. تشمل استراتيجيات التخفيف الشائعة:

- الصارمة الصارمة على مستوى نظام التشغيل والحاويات.
- ضوابط الوصول الأقل امتيازًا والأذونات القائمة على الأدوار.
- مراجعات رمز شاملة وممارسات الترميز الآمنة.
- استخدام أنظمة الوقاية من التسلل (IPS) والأدوات الآلية للكشف والحظر.

تكمل هذه المبادئ وأحيانًا تدعم عمليات النشر النموذجية الآمنة ، خاصةً عندما يتم دمج LLMs مع البنية التحتية الأوسع للنظام.

***