GPT-4.5 ist so konzipiert, dass sie widersprüchliche Anweisungen bei mehrstufigen Problemen durchführen, indem sich eine Anweisungshierarchie einhalten. Diese Hierarchie hilft dem Modell dabei, Systemmeldungen vor Benutzernachrichten zu priorisieren und das Risiko von schnellen Injektionen und anderen Angriffen zu mildern, die Sicherheitsanweisungen überschreiben könnten [1] [5].
Umgang mit widersprüchlichen Anweisungen
1. Anweisungshierarchie Evaluierung: GPT-4.5 ist geschult, um die Anweisungen in der Meldung höchster Priorität zu erkennen und zu befolgen, wenn sie mit widersprüchlichen Nachrichten konfrontiert sind. Dies umfasst Szenarien, in denen Systemmeldungen und Benutzernachrichten konflikt, und das Modell muss auswählen, welche Anweisungen folgen sollen [1].
2. System- und Benutzernachrichten: Das Modell wird beigebracht, Systemmeldungen, die die Sicherheits- und Betriebsrichtlinien für Benutzernachrichten durchsetzen, zu priorisieren. Dies stellt sicher, dass GPT-4,5 seine Sicherheitsprotokolle hält, selbst wenn Benutzer versuchen, sie zu umgehen [1] [5].
3. Realistische Szenarien: Bewertungen umfassen realistische Szenarien, in denen das Modell als Tutor fungiert und den Versuchen von Benutzern widerstehen muss, es dazu zu bringen, Antworten oder Lösungen aufzudecken. GPT-4.5 wird angewiesen, keine Antworten zu verschenken, und es muss diese Systemanweisungen befolgen, obwohl Benutzer versucht, sie zu umgehen [1].
4. Phrase und Kennwortschutz: In einer anderen Art der Bewertung wird GPT-4.5 angewiesen, bestimmte Phrasen nicht auszugeben oder Kennwörter anzugeben. Das Modell muss den Benutzernachrichten widerstehen, die dazu gedacht sind, es dazu zu bringen, und demonstrieren seine Fähigkeit, vertrauliche Informationen zu schützen [1].
Multi-Step-Problemhandhabung
Während GPT-4,5 so konzipiert ist, dass widersprüchliche Anweisungen effektiv behandelt werden, kann die Fähigkeit, mehrstufige Probleme zu verwalten, durch strukturelle Eingabeaufforderungen auf klare und sequentielle Weise verbessert werden. Dies beinhaltet das Aufbrechen von Aufgaben in kleinere Schritte und sicherzustellen, dass jeder Schritt abgeschlossen ist, bevor sie zum nächsten wechselt [2]. Die Leistung von GPT-4.5 bei der automatischen Befolgung von Multi-Step-Anweisungen ohne manuelle Intervention (z. B. die Aufforderung zum „nächsten“) bleibt jedoch eine Herausforderung [4].
Verbesserung der Leistung
Um die Leistung von GPT-4.5 bei mehrstufigen Aufgaben zu verbessern, können Benutzer Strategien anwenden wie:
- Klarheitstruktur: Verwenden Sie Header oder Abschnittsmarkierungen, um jeden Schritt klar zu definieren und das Modell zu erkennen und die Sequenz effektiver zu befolgen [2].
-Sequentielle Ausführung: Implementieren Sie einen Schritt-für-Schritt-Ansatz, bei dem jeder Schritt vollständig verarbeitet wird, bevor sie zum nächsten übergehen, was durch die Verwendung funktionsähnlicher Strukturen in Eingabeaufforderungen erleichtert werden kann [2].
- Manuelle Intervention: Auffordern Sie das Modell bei Bedarf manuell, mit dem nächsten Schritt fortzufahren, da es sich möglicherweise nicht automatisch durch eine Sequenz ohne solche Hinweise bewegen [4].
Zitate:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://www.aifire.co/p/detailed-teps-build-multi-step-custom-gpts-solve-bohls
[3] https://community.openai.com/t/how-to-deal-with-lazy-gpt-4/689286
[4] https://community.openai.com/t/gpt-getting-stuck-multi-step-instructions/613209
[5] https://www.reddit.com/r/singularity/comments/1izn175/openai_gpt45_system_card/
[6] https://community.openai.com/t/how-to-improve-gpt-4-api-output-lgth-and-structure/1025132
[7] https://www.reddit.com/r/singularity/comments/1iyrwvd/the_information_confirms_gpt45_this_week/
[8] https://www.reddit.com/r/openai/comments/197exmm/gpt4_has_only_been_getting_worse/