GPT-4.5: s instruktionshierarki är utformad för att mildra risken för snabba injektioner genom att skapa en tydlig prioriterad ordning för olika typer av instruktioner. Denna hierarki säkerställer att systemmeddelanden, som ställs in av utvecklare, har företräde framför användarmeddelanden och andra ingångar. Så här fungerar det och hur det hjälper till att förhindra snabba injektionsattacker:
Förstå snabba injektioner
Snabba injektionsattacker inträffar när skadliga användare manipulerar AI -modeller genom att tillhandahålla ingångar som åsidosätter de ursprungliga systeminstruktionerna. Detta kan leda till oavsiktligt beteende, såsom att avslöja känslig information eller utföra obehöriga åtgärder [2] [3].Instruktionshierarkin
Instruktionshierarkin i GPT-4.5 prioriterar instruktioner baserat på deras källa och betydelse. Den kategoriserar ingångar i flera typer, vanligtvis inklusive:- Systemmeddelanden: Dessa är de högsta prioriteringsinstruktionerna som ställts in av utvecklare. De definierar de primära uppgifterna och begränsningarna som modellen ska följa.
- Användarmeddelanden: Dessa är ingångar som tillhandahålls av användare och anses vara lägre i prioritet än systemmeddelanden.
- Konversationshistorik och verktygsutgångar: Dessa kan också påverka modellen men är i allmänhet lägre i prioritering än användarmeddelanden [1] [3].
Mitigerande snabba injektioner
För att mildra snabba injektionsattacker säkerställer instruktionshierarkin att GPT-4,5 följer följande principer:- Prioritering: Modellen prioriterar systemmeddelanden framför användaringångar. Om en användare försöker injicera en prompt som strider mot systeminstruktionerna kommer modellen att standard till den ursprungliga vägledningen [3] [5].
- Upptäckt av felanpassade instruktioner: GPT-4,5 utbildas för att identifiera och ignorera instruktioner som konfliktar med systeminstruktionerna. Till exempel, om en användare matar in "Glöm alla tidigare instruktioner", kommer modellen att känna igen detta som en feljusterad prompt och svara i enlighet därmed [3].
-Selektiv ignorering av instruktioner med lägre prioritering: Modellen är utformad för att selektivt ignorera instruktioner med lägre prioritering när de strider mot högre prioriterade. Detta säkerställer att modellen upprätthåller sitt avsedda beteende även när den står inför skadliga insatser [7].
Utbildning och utvärdering
GPT-4.5 tränas med hjälp av tekniker som betonar instruktionshierarkin, såsom syntetisk dataproduktion och kontextdestillation. Dessa metoder hjälper modellen att lära sig att prioritera instruktioner effektivt och motstå skadliga ingångar [6] [7]. Modellens prestanda utvärderas i scenarier där systemmeddelanden strider mot användarinsatser, vilket säkerställer att den följer instruktionshierarkin och upprätthåller sina säkerhetsfunktioner [5].Sammantaget förbättrar instruktionshierarkin i GPT-4.5 modellens säkerhet genom att säkerställa att den följer de avsedda instruktionerna som ställts in av utvecklare, även inför motstridiga eller skadliga användarinsatser. Detta tillvägagångssätt är avgörande för att bygga pålitliga AI-system som kan fungera säkert i verkliga applikationer.
Citeringar:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruktion-hierarki
[4] https://dev.to/jasny/protecting-aGainst-prompt-inject-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
[7] https://openai.com/index/the-instruktion-hierarki
[8] https://arxiv.org/html/2311.11538v2