La hiérarchie d'instructions de GPT-4.5 est conçue pour atténuer le risque d'injections rapides en établissant un ordre de priorité clair pour différents types d'instructions. Cette hiérarchie garantit que les messages système, qui sont définis par les développeurs, ont priorité sur les messages utilisateur et autres entrées. Voici comment cela fonctionne et comment cela aide à prévenir les attaques d'injection rapides:
Comprendre les injections rapides
Des attaques d'injection rapides se produisent lorsque les utilisateurs malveillants manipulent les modèles d'IA en fournissant des entrées qui remplacent les instructions du système d'origine. Cela peut conduire à un comportement involontaire, comme révéler des informations sensibles ou effectuer des actions non autorisées [2] [3].La hiérarchie d'instructions
La hiérarchie des instructions dans GPT-4.5 hiérarte les instructions en fonction de leur source et de leur importance. Il classe les entrées dans plusieurs types, y compris généralement:- Messages système: ce sont les instructions de priorité la plus élevée définies par les développeurs. Ils définissent les tâches et les contraintes primaires que le modèle doit suivre.
- Messages utilisateur: ce sont des entrées fournies par les utilisateurs et sont considérées comme une priorité plus faible que les messages système.
- Historique de conversation et sorties d'outils: celles-ci peuvent également influencer le modèle mais sont généralement inférieures en priorité que les messages utilisateur [1] [3].
atténuer les injections rapides
Pour atténuer les attaques d'injection rapides, la hiérarchie d'instructions garantit que GPT-4.5 adhère aux principes suivants:- priorité: le modèle hiérarte les messages système sur les entrées utilisateur. Si un utilisateur tente d'injecter une invite qui contredit les instructions du système, le modèle sera par défaut le guide d'origine [3] [5].
- Détection d'invites mal alignées: GPT-4.5 est formé pour identifier et ignorer les invites qui conflit avec les instructions du système. Par exemple, si un utilisateur saisit "Oubliez toutes les instructions précédentes", le modèle reconnaîtra cela comme une invite mal alignée et répondra en conséquence [3].
- Ignorer sélectif des instructions de priorité inférieure: Le modèle est conçu pour ignorer sélectivement les instructions de priorité inférieure lorsqu'elles sont en conflit avec des instructions plus élevées. Cela garantit que le modèle maintient son comportement prévu même face à des entrées malveillantes [7].
Formation et évaluation
GPT-4.5 est formé à l'aide de techniques qui mettent l'accent sur la hiérarchie des instructions, telles que la génération de données synthétiques et la distillation du contexte. Ces méthodes aident le modèle à apprendre à hiérarchiser efficacement les instructions et à résister aux entrées malveillantes [6] [7]. Les performances du modèle sont évaluées dans des scénarios où les messages du système entrent en conflit avec les entrées utilisateur, garantissant qu'il adhère à la hiérarchie d'instructions et conserve ses fonctionnalités de sécurité [5].Dans l'ensemble, la hiérarchie d'instructions dans GPT-4.5 améliore la sécurité du modèle en s'assurant qu'elle suit les instructions prévues définies par les développeurs, même face à des entrées d'utilisateurs contradictoires ou malveillantes. Cette approche est cruciale pour créer des systèmes d'IA dignes de confiance qui peuvent fonctionner en toute sécurité dans des applications réelles.
Citations:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-struction-hierarchy
[4] https://dev.to/jasny/protecting-against-prompt-injection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2