Ierarhia de instrucțiuni a GPT-4.5 este concepută pentru a atenua riscul injecțiilor prompte prin stabilirea unei ordini prioritare clare pentru diferite tipuri de instrucțiuni. Această ierarhie asigură că mesajele de sistem, care sunt setate de dezvoltatori, au prioritate față de mesajele utilizatorilor și alte intrări. Iată cum funcționează și cum ajută la prevenirea atacurilor de injecție promptă:
Înțelegerea injecțiilor prompte
Atacurile de injecție promptă apar atunci când utilizatorii rău intenționați manipulează modelele AI prin furnizarea de intrări care înlocuiesc instrucțiunile originale ale sistemului. Acest lucru poate duce la un comportament neintenționat, cum ar fi dezvăluirea informațiilor sensibile sau efectuarea acțiunilor neautorizate [2] [3].Ierarhia de instrucțiuni
Ierarhia de instrucțiuni din GPT-4.5 prioritizează instrucțiunile bazate pe sursa și importanța lor. Acesta clasifică intrările în mai multe tipuri, incluzând de obicei:- Mesaje de sistem: Acestea sunt instrucțiunile cu cea mai mare prioritate stabilite de dezvoltatori. Ei definesc sarcinile și constrângerile principale pe care ar trebui să le urmeze modelul.
- Mesaje de utilizator: Acestea sunt intrări furnizate de utilizatori și sunt considerate mai mici cu prioritate decât mesajele de sistem.
- Istoricul conversației și rezultatele instrumentelor: Acestea pot influența, de asemenea, modelul, dar sunt în general mai mici în prioritate decât mesajele utilizatorilor [1] [3].
atenuarea injecțiilor prompte
Pentru a atenua atacurile de injecție promptă, ierarhia de instrucțiuni asigură că GPT-4.5 respectă următoarele principii:- Prioritizare: modelul prioritizează mesajele sistemului prin intrările utilizatorului. Dacă un utilizator încearcă să injecteze un prompt care să contrazică instrucțiunile sistemului, modelul va fi implicit la îndrumarea inițială [3] [5].
- Detectarea prompturilor nealiniate: GPT-4.5 este instruit să identifice și să ignore solicitările care intră în conflict cu instrucțiunile sistemului. De exemplu, dacă un utilizator intră „uită toate instrucțiunile anterioare”, modelul va recunoaște acest lucru ca un prompt nealiniat și va răspunde în consecință [3].
-Ignorarea selectivă a instrucțiunilor cu prioritate inferioară: Modelul este conceput pentru a ignora selectiv instrucțiunile cu prioritate inferioară atunci când intră în conflict cu cele cu prioritate mai mare. Acest lucru asigură că modelul își menține comportamentul prevăzut chiar și atunci când se confruntă cu intrări rău intenționate [7].
Instruire și evaluare
GPT-4.5 este instruit folosind tehnici care subliniază ierarhia de instrucțiuni, cum ar fi generarea de date sintetice și distilarea contextului. Aceste metode ajută modelul să învețe să acorde prioritate instrucțiunilor în mod eficient și să reziste la intrările rău intenționate [6] [7]. Performanța modelului este evaluată în scenarii în care mesajele de sistem intră în conflict cu intrările utilizatorilor, asigurându -se că respectă ierarhia de instrucțiuni și își menține caracteristicile de securitate [5].În general, ierarhia de instrucțiuni din GPT-4.5 îmbunătățește securitatea modelului, asigurându-se că acesta respectă instrucțiunile prevăzute de dezvoltatori, chiar și în fața intrărilor de utilizator conflictuale sau rău intenționate. Această abordare este crucială pentru construirea de sisteme AI de încredere care pot funcționa în siguranță în aplicațiile din lumea reală.
Citări:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruction-hierchy
[4] https://dev.to/jasny/protecting-against-prompt-injection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injections-and-jilbreaks-new-penai-paper/727636
[7] https://openai.com/index/the-instruction-hierchy/
[8] https://arxiv.org/html/2311.11538v2