La gerarchia di istruzioni di GPT-4.5 è progettata per mitigare il rischio di iniezioni rapide stabilendo un chiaro ordine di priorità per diversi tipi di istruzioni. Questa gerarchia garantisce che i messaggi di sistema, che sono impostati dagli sviluppatori, abbiano la precedenza sui messaggi degli utenti e su altri input. Ecco come funziona e come aiuta a prevenire rapidi attacchi di iniezione:
Comprensione di iniezioni tempestive
Gli attacchi di iniezione rapidi si verificano quando gli utenti dannosi manipolano i modelli di intelligenza artificiale fornendo input che sostituiscono le istruzioni originali del sistema. Ciò può portare a comportamenti non intenzionali, come rivelare informazioni sensibili o eseguire azioni non autorizzate [2] [3].la gerarchia delle istruzioni
La gerarchia delle istruzioni in GPT-4.5 dà la priorità alle istruzioni in base alla loro fonte e importanza. Classifica gli input in diversi tipi, in genere includendo:- Messaggi di sistema: queste sono le istruzioni per la massima priorità impostate dagli sviluppatori. Definiscono i compiti e i vincoli primari che il modello dovrebbe seguire.
- Messaggi dell'utente: questi sono input forniti dagli utenti e sono considerati prioritari rispetto ai messaggi di sistema.
- Output di cronologia e strumenti di conversazione: questi possono anche influenzare il modello ma sono generalmente più bassi rispetto ai messaggi dell'utente [1] [3].
mitigare le iniezioni prompt
Per mitigare gli attacchi di iniezione tempestivi, la gerarchia di istruzioni garantisce che GPT-4.5 aderisca ai seguenti principi:- Priorità: il modello dà la priorità ai messaggi di sistema rispetto agli input dell'utente. Se un utente tenta di iniettare un prompt che contraddice le istruzioni del sistema, il modello sarà inadempiente alla guida originale [3] [5].
- Rilevazione di istruzioni disallineate: GPT-4.5 è addestrato per identificare e ignorare i suggerimenti sul conflitto con le istruzioni del sistema. Ad esempio, se un utente inserisce "dimentica tutte le istruzioni precedenti", il modello lo riconoscerà come un prompt disallineato e risponderà di conseguenza [3].
-Ignorazioni selettive delle istruzioni a basso priorità: il modello è progettato per ignorare selettivamente le istruzioni di priorità inferiore quando sono in conflitto con quelle a priorità superiore. Ciò garantisce che il modello mantenga il comportamento previsto anche di fronte a input dannosi [7].
formazione e valutazione
GPT-4.5 è addestrato utilizzando tecniche che enfatizzano la gerarchia delle istruzioni, come la generazione di dati sintetici e la distillazione del contesto. Questi metodi aiutano il modello a imparare a dare la priorità alle istruzioni in modo efficace e a resistere agli input dannosi [6] [7]. Le prestazioni del modello sono valutate in scenari in cui i messaggi di sistema sono in conflitto con gli input dell'utente, garantendo che aderisca alla gerarchia delle istruzioni e mantenga le sue caratteristiche di sicurezza [5].Nel complesso, la gerarchia delle istruzioni in GPT-4.5 migliora la sicurezza del modello garantendo che segua le istruzioni previste impostate dagli sviluppatori, anche di fronte a input per utenti contrastanti o dannosi. Questo approccio è fondamentale per la costruzione di sistemi di intelligenza artificiale affidabili in grado di operare in modo sicuro in applicazioni del mondo reale.
Citazioni:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-iniection-types-prevent-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-ini-instruction-gerarchy
[4] https://dev.to/jasny/protecting-against-prompt-iniection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-promppt-iniections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-herarchy/
[8] https://arxiv.org/html/2311.11538v2