GPT-4.5 impiega diverse tecniche per gestire i messaggi in conflitto, in particolare attraverso il suo sistema di gerarchia delle istruzioni. Questa gerarchia stabilisce un ordine di priorità per i messaggi, garantendo che i messaggi di sistema siano prioritari sui messaggi degli utenti, sulla cronologia delle conversazioni e sugli output degli strumenti [1] [2].
gerarchia di istruzioni
1. Messaggi di sistema rispetto ai messaggi dell'utente: GPT-4.5 è addestrato per seguire le istruzioni nei messaggi di sistema su messaggi utente in conflitto. Ciò è cruciale negli scenari in cui gli input dell'utente potrebbero tentare di sovrascrivere le linee guida di sicurezza o le regole di formattazione impostate dal sistema [1] [2].
2. Risoluzione dei conflitti: il modello viene valutato sulla sua capacità di risolvere i conflitti tra diversi tipi di messaggi. Ad esempio, se un messaggio di sistema indica al modello di non rivelare una frase o una password specifica e un messaggio utente tenta di indurre il modello a farlo, GPT-4.5 è progettato per aderire alle istruzioni del messaggio di sistema [1].
3. Formazione e valutazione: GPT-4.5 subisce una vasta formazione e valutazione per garantire che possa gestire scenari complessi in cui i messaggi di sistema e utenti sono in conflitto. Ciò include scenari in cui il modello deve scegliere tra seguire un'istruzione di sistema o una richiesta di un utente che la contraddice [1] [2].
Fine-tuning supervisionato (SFT)
GPT-4.5 utilizza anche la messa a punto supervisionata (SFT), che prevede la formazione del modello su esempi specifici in cui sono presenti messaggi in conflitto. Questa tecnica aiuta a migliorare la capacità del modello di riconoscere e dare la priorità alle istruzioni di sistema sugli input degli utenti, migliorando le sue prestazioni nella gestione di scenari contrastanti [3].
nuove tecniche di allineamento
Inoltre, GPT-4.5 incorpora nuove tecniche di allineamento che migliorano la sua comprensione delle preferenze e dell'intenzione umana. Queste tecniche aiutano il modello a interpretare meglio il contesto e l'intento dietro i messaggi di sistema e utente, consentendogli di prendere decisioni più informate durante la gestione dei conflitti [5].
Nel complesso, l'approccio di GPT-4.5 alla gestione dei messaggi in conflitto combina metodi di allenamento avanzati con una gerarchia strutturata di istruzioni per garantire che il modello dà la priorità alla sicurezza e all'adesione alle linee guida del sistema.
Citazioni:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://arxiv.org/html/2502.08745v1
[3] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[4] https://community.openai.com/t/how-to-improve-gpt-4-api-output-length-and-strutture/1025132
[5] https://venturebeat.com/ai/openai-releases-gpt-4-5/
[6] https://community.openai.com/t/how-to-deal-with-lazy-gpt-4/689286
[7] https://openai.com/index/introducing-gpt-4-5/
[8] https://www.reddit.com/r/openai/comments/18monbs/gpt_4_has_been_toned_down_significantly_and/