GPT-4.5s instruktionshierarki er designet til at afbøde risikoen for hurtige injektioner ved at etablere en klar prioritetsordre for forskellige typer instruktioner. Dette hierarki sikrer, at systemmeddelelser, der er indstillet af udviklere, har forrang for brugerbeskeder og andre input. Sådan fungerer det, og hvordan det hjælper med at forhindre hurtige injektionsangreb:
Forstå hurtige injektioner
Hurtige injektionsangreb opstår, når ondsindede brugere manipulerer AI -modeller ved at tilvejebringe input, der tilsidesætter de originale systeminstruktioner. Dette kan føre til utilsigtet opførsel, såsom at afsløre følsom information eller udføre uautoriserede handlinger [2] [3].Instruktionshierarkiet
Instruktionshierarkiet i GPT-4.5 prioriterer instruktioner baseret på deres kilde og betydning. Den kategoriserer input i flere typer, typisk inklusive:- Systemmeddelelser: Dette er de højeste prioriterede instruktioner, der er indstillet af udviklere. De definerer de primære opgaver og begrænsninger, som modellen skal følge.
- Brugermeddelelser: Dette er input, der leveres af brugere og betragtes som lavere i prioritet end systemmeddelelser.
- Samtalehistorie og værktøjsudgange: Disse kan også påvirke modellen, men er generelt lavere i prioritet end brugerbeskeder [1] [3].
afbødende hurtige injektioner
For at afbøde hurtige injektionsangreb sikrer instruktionshierarkiet, at GPT-4.5 overholder følgende principper:- Prioritering: Modellen prioriterer systemmeddelelser frem for brugerindgange. Hvis en bruger forsøger at injicere en prompt, der er i modstrid med systeminstruktionerne, vil modellen standard være den originale vejledning [3] [5].
- Påvisning af forkert tilpassede promp: GPT-4.5 er trænet til at identificere og ignorere anmodninger om, at der er i konflikt med systeminstruktionerne. For eksempel, hvis en bruger indgår "Glem alle tidligere instruktioner", vil modellen genkende dette som en forkert justeret hurtig og svare i overensstemmelse hermed [3].
-Selektiv ignorering af instruktioner med lavere prioritet: Modellen er designet til selektivt at ignorere instruktioner med lavere prioritet, når de er i konflikt med den højere prioriterede. Dette sikrer, at modellen opretholder sin tilsigtede opførsel, selv når den står over for ondsindede input [7].
Uddannelse og evaluering
GPT-4.5 er trænet ved hjælp af teknikker, der understreger instruktionshierarkiet, såsom syntetisk datagenerering og kontekstdestillation. Disse metoder hjælper modellen med at lære at prioritere instruktioner effektivt og modstå ondsindede input [6] [7]. Modellens ydelse evalueres i scenarier, hvor systemmeddelelser er i konflikt med brugerindgange, hvilket sikrer, at den overholder instruktionshierarkiet og opretholder sine sikkerhedsfunktioner [5].Generelt forbedrer instruktionshierarkiet i GPT-4.5 modellens sikkerhed ved at sikre, at den følger de tilsigtede instruktioner, der er sat af udviklere, selv i lyset af modstridende eller ondsindede brugerindgange. Denne tilgang er afgørende for at opbygge pålidelige AI-systemer, der kan fungere sikkert i applikationer i den virkelige verden.
Citater:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-example
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruction-hierarchy
)
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injections-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2