A hierarquia de instruções do GPT-4.5 foi projetada para mitigar o risco de injeções imediatas, estabelecendo uma ordem prioritária clara para diferentes tipos de instruções. Essa hierarquia garante que as mensagens do sistema, que são definidas pelos desenvolvedores, tenham precedência sobre as mensagens do usuário e outras entradas. Veja como funciona e como ajuda a evitar ataques imediatos de injeção:
compreendendo injeções rápidas
Os ataques de injeção imediatos ocorrem quando usuários maliciosos manipulam os modelos de IA, fornecendo insumos que substituem as instruções originais do sistema. Isso pode levar a um comportamento não intencional, como revelar informações confidenciais ou executar ações não autorizadas [2] [3].a hierarquia de instruções
A hierarquia de instruções no GPT-4.5 prioriza as instruções com base em sua fonte e importância. Ele categoriza as entradas em vários tipos, geralmente incluindo:- Mensagens do sistema: essas são as instruções de maior prioridade definidas pelos desenvolvedores. Eles definem as principais tarefas e restrições que o modelo deve seguir.
- Mensagens do usuário: são entradas fornecidas pelos usuários e são consideradas mais baixas em prioridade do que as mensagens do sistema.
- Histórico de conversas e saídas de ferramentas: elas também podem influenciar o modelo, mas geralmente são mais baixas em prioridade do que as mensagens do usuário [1] [3].
mitigando injeções rápidas
Para mitigar ataques rápidos de injeção, a hierarquia de instruções garante que o GPT-4.5 adere aos seguintes princípios:- Priorização: o modelo prioriza as mensagens do sistema sobre as entradas do usuário. Se um usuário tentar injetar um prompt que contradiz as instruções do sistema, o modelo será padrão para a orientação original [3] [5].
- Detecção de avisos desalinhados: o GPT-4.5 é treinado para identificar e ignorar solicita que o conflito com as instruções do sistema. Por exemplo, se um usuário inserir "esqueça todas as instruções anteriores", o modelo reconhecerá isso como um prompt desalinhado e responder de acordo [3].
-Ignoramento seletivo de instruções de prioridade inferior: O modelo foi projetado para ignorar seletivamente as instruções de prioridade inferior quando elas entram em conflito com as de alta prioridade. Isso garante que o modelo mantenha o comportamento pretendido, mesmo quando confrontado com insumos maliciosos [7].
Treinamento e avaliação
O GPT-4.5 é treinado usando técnicas que enfatizam a hierarquia de instruções, como geração de dados sintéticos e destilação de contexto. Esses métodos ajudam o modelo a aprender a priorizar as instruções de maneira eficaz e resistir a insumos maliciosos [6] [7]. O desempenho do modelo é avaliado em cenários em que as mensagens do sistema entram em conflito com as entradas do usuário, garantindo que ele adere à hierarquia de instruções e mantenha seus recursos de segurança [5].No geral, a hierarquia de instruções no GPT-4.5 aprimora a segurança do modelo, garantindo que ele siga as instruções pretendidas definidas pelos desenvolvedores, mesmo diante de entradas de usuário conflitantes ou maliciosas. Essa abordagem é crucial para a construção de sistemas de IA confiáveis que podem operar com segurança em aplicativos do mundo real.
Citações:
[1] https://arxiv.org/html/2502.08745v1
[2] https://www.aporia.com/learn/prompt-injection-types-prevention-examples/
[3] https://www.amitysolutions.com/blog/gpt4o-mini-instruction-hierarchy
[4] https://dev.to/jasny/protecting-against-prompt-injection-in-gpt-1gf8
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/protecting-llms-from-prompt-injection-and-jailbreaks-new-openai-paper/727636
[7] https://openai.com/index/the-instruction-hierarchy/
[8] https://arxiv.org/html/2311.11538v2