GPT-4.5'in Talimat Hiyerarşisi, farklı talimat türleri için net bir öncelik sırası oluşturarak hızlı enjeksiyon riskini azaltmak için tasarlanmıştır. Bu hiyerarşi, geliştiriciler tarafından belirlenen sistem mesajlarının kullanıcı mesajlarına ve diğer girdilere öncelik vermesini sağlar. İşte nasıl çalışır ve hızlı enjeksiyon saldırılarını önlemeye nasıl yardımcı olur:
Hız enjeksiyonlarını anlama
Hızlı enjeksiyon saldırıları, kötü niyetli kullanıcılar orijinal sistem talimatlarını geçersiz kılan girdiler sağlayarak AI modellerini manipüle ettiğinde meydana gelir. Bu, hassas bilgilerin ortaya çıkması veya yetkisiz eylemler gerçekleştirme gibi istenmeyen davranışlara yol açabilir [2] [3].Talimat hiyerarşisi
GPT-4.5'teki talimat hiyerarşisi, talimatlara kaynaklarına ve önemlerine göre öncelik verir. Girişleri çeşitli türlerde kategorize eder: genellikle aşağıdakileri içerir:- Sistem mesajları: Bunlar geliştiriciler tarafından belirlenen en yüksek öncelikli talimatlardır. Modelin izlemesi gereken birincil görevleri ve kısıtlamaları tanımlarlar.
- Kullanıcı mesajları: Bunlar kullanıcılar tarafından sağlanan girişlerdir ve öncelikli olarak sistem mesajlarından daha düşük kabul edilir.
- Konuşma geçmişi ve araç çıktıları: Bunlar modeli de etkileyebilir, ancak genellikle öncelik olarak kullanıcı mesajlarından daha düşüktür [1] [3].
Hız enjeksiyonlarını azaltma
Hızlı enjeksiyon saldırılarını azaltmak için, talimat hiyerarşisi GPT-4.5'in aşağıdaki ilkelere bağlı olmasını sağlar:- Önceliklendirme: Model, kullanıcı girişleri üzerinden sistem mesajlarına öncelik verir. Bir kullanıcı sistem talimatlarıyla çelişen bir istem enjekte etmeye çalışırsa, model varsayılan olarak orijinal rehberliğe [3] [5].
- Yanlış hizalanmış istemlerin tespiti: GPT-4.5, sistem talimatlarıyla çatışan istemleri tanımlamak ve yok saymak için eğitilmiştir. Örneğin, bir kullanıcı "önceki tüm talimatları unutursa" girerse, model bunu yanlış hizalanmış bir istem olarak tanıyacak ve buna göre yanıt verecektir [3].
-Daha düşük öncelikli talimatları seçici olarak görmezden gelme: Model, daha yüksek öncelikli olanlarla çeliştiklerinde daha düşük öncelikli talimatları seçici olarak görmezden gelmek için tasarlanmıştır. Bu, modelin kötü niyetli girdilerle karşılaştığında bile amaçlanan davranışını korumasını sağlar [7].
Eğitim ve Değerlendirme
GPT-4.5, sentetik veri üretimi ve bağlam damıtma gibi talimat hiyerarşisini vurgulayan teknikler kullanılarak eğitilmiştir. Bu yöntemler, modelin talimatlara etkili bir şekilde öncelik vermeyi öğrenmesine ve kötü niyetli girdilere direnmesine yardımcı olur [6] [7]. Modelin performansı, sistem mesajlarının kullanıcı girişleriyle çatıştığı senaryolarda değerlendirilir, bu da talimat hiyerarşisine uymasını sağlar ve güvenlik özelliklerini korur [5].Genel olarak, GPT-4.5'teki talimat hiyerarşisi, çelişkili veya kötü niyetli kullanıcı girdileri karşısında bile geliştiriciler tarafından belirlenen amaçlanan talimatları izlemesini sağlayarak modelin güvenliğini artırır. Bu yaklaşım, gerçek dünya uygulamalarında güvenli bir şekilde çalışabilen güvenilir AI sistemleri oluşturmak için çok önemlidir.
Alıntılar:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-inge-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-
[4] https://dev.to/jasny/protecting-against-prompt-injection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-fromprompt-injections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2