كيف تمنع أنظمة السلامة والاسترجاع GPT-5 الحقائق التي تم اختراعها

بنية النظام الموحدة والتوجيه

يعمل GPT-5 كنظام موحد مع مكونات تفاعلية متعددة:
- يجيب نموذج أساسي سريع وفعال على الأسئلة مباشرة.
- يتم تشغيل نموذج التفكير الأعمق للاستعلامات المعقدة أو عالية المخاطر.
- يختار جهاز التوجيه في الوقت الفعلي بشكل ديناميكي المكون الأمثل استنادًا إلى المحتوى المطري ، والتعقيد ، وقصد المستخدم. يتم تدريب جهاز التوجيه بشكل مستمر على ملاحظات المستخدم المباشر وتدابير الصواب ، ويتكيف في الوقت الفعلي.

يسمح هذا الهيكل بإجابات أكثر دقة وحساسة للسياق ، ويضمن أن يتم تنظيم أقوى موارد الواقع في النظام فقط عند الضرورة ، وتحسين تجربة المستخدم والدقة الواقعية في وقت واحد.

التقدم في تقليل الهلوسة

يمثل GPT-5 انخفاضًا ملحوظًا في الهلوسة مقارنة بأسلافها ، مع تقييمات تجريبية تدعم هذه الادعاءات:
-مع تمكين البحث على الويب ، فإن استجابات GPT-5 أقل عرضة بنسبة 45 ٪ تقريبًا لتشمل خطأ واقعي مقارنة بـ GPT-4O ، وحوالي 80 ٪ أقل من نموذج O3 من Openai عند نشر وضع التفكير.
-كانت المطالبات المفتوحة ، التي غالبًا ما تكون أكثر عرضة للمحتوى الهلوس ، تم اختبارها بشكل صارم باستخدام معايير عامة مثل Longfact و FactScore ، حيث انخفضت معدلات الهلوسة بعامل حوالي ستة نسبة إلى النماذج السابقة.
- على وجه التحديد ، بالنسبة إلى "المجالات الصلبة مثل الطب ، تبين أن GPT-5 تُعزز معدل استجابة غير مطابق لا يتجاوز 1.6 ٪ على معايير مثل HealthBench بقوة ، مما يجعله أكثر موثوقية بشكل كبير في ظل تدقيق خبير وثيق.

هذه التحسينات ليست فقط نتيجة الحجم ، ولكنها تظهر من التعديلات المستهدفة في تنشيط البيانات وتقييم النظام وأنظمة تدريب السلامة المتخصصة.

الجيل المتموج الاسترجاع (خرقة) واستخدام الأداة

يدمج GPT-5 أطر عمل الجيل المتمحور في الاسترجاع (RAG) كجزء رئيسي من أسسه الواقعية:
-بالنسبة للمواضيع القائمة على المعرفة أو القابلة للتحقق ، يعزز GPT-5 تمثيلاتها الداخلية من خلال استرداد المعلومات الداعمة بنشاط من قواعد البيانات الموثوقة ومحركات البحث والمراجع المنسقة في الوقت الفعلي عند الاستدلال.
-في عمليات النشر العملية (مثل chatgpt) ، يتم خبرة هذا كاستجابات "تمكين الويب" ، حيث يجمع النموذج ويقوم بتقييم ودمج الحقائق المحدثة قبل إنتاج إجابة. معدلات الهلوسة أقل بشكل مفيد عندما يكون الاسترجاع في اللعب.
- الأهم من ذلك ، عندما تكون أدوات الاسترجاع غير متوفرة أو معطلة عمداً ، فإن معدلات الهلوسة ترتفع ، مما يشير إلى أن التكامل الضيق من Ragâ إلى جانب التدريب الداخلي المحسن "أمر بالغ الأهمية لتقليل المحتوى الخاطئ في المواقف غير المطلية.

يقترن استخدام الأداة بإحكام بأمانة النظام: يتم تدريب GPT-5 على عدم تصنيع المعلومات عندما تكون موارد الاسترجاع الأساسية مفقودة ومزيد من المشروع للاعتراف بعدم اليقين أو الرفض بدلاً من حقائق الهلوسة التي لا يمكن أن يثبتها.

نموذج إكمال آمن

يعتمد GPT-5 منهجية جديدة لتدريب السلامة تسمى Â إكمال آمن ، "تجاوز النهج السابقة المتمحورة حول الرفض. تشمل الميزات الرئيسية:
- عندما تكون نية المستخدم غامضة ، أو عندما يمكن استخدام المعلومات بأمان أو غير مؤهلة ، يتعلم النموذج إنتاج الإجابة الأكثر فائدة أو غير ضارة ممكنة ، لصالح الاستجابات الجزئية أو التجريدية على رفض غير ضروري أو تفاصيل خطيرة.
-بالنسبة للحقول الحساسة والاستخدام المزدوج (على سبيل المثال ، البيولوجيا المتقدمة أو الكيمياء) ، يوفر النموذج فقط إجابات عالية المستوى ، وتفاصيل حجب يمكن أن تمكن سوء الاستخدام الضار.
- في التقييم المنظم ، يعد GPT-5 أكثر صدقًا بشكل واضح حول قيوده وأكثر عرضة لشرح سبب عدم قدرتها على الإجابة على استعلامات معينة ، أو استبدال الخداع أو التخمينات بالرفض العلني أو الاتجاهات الآمنة للمستخدم.

يتم تعزيز هذا الإطار من خلال المصنفات دائمًا ، ومراقبة وقت التشغيل للشذوذ السلوكي ، وخطوط أنابيب إنفاذ قوية تم تطويرها من خلال تمارين واسعة النطاق لتصميم التهديدات مع شركاء أمان خارجيين خاصين بالمجال.

سلسلة من التفكير الفكر وخفض الخداع

هناك جانب مبتكر للغاية من نظام السلامة في GPT-5 هو مراقبة سلسلة الأفكار:
- يوضح النموذج مساره المنطقي قبل تشكيل إجابة نهائية. يتيح ذلك كل من المقيمين الداخليين والخارجيين (بما في ذلك الأنظمة الآلية) لتدقيق الأسباب ، والاكتشاف القفزات غير المدعومة ، والتدخل في حالات الاختراع المحتمل.
-أثناء التطوير ، تم تدريب GPT-5 بشكل صريح على التعرف على سيناريوهات الإكمال الخادعة وتجنبها حيث قد تكون النماذج السابقة قد عرضت بثقة معلومات مكياج للطلبات غير الراضية ، خاصةً عندما تكون البيانات أو الأدوات المهمة غير متاحة.

انخفضت معدلات الخطأ لهذه الأفعال الخادعة إلى النصف مقارنة بالأجيال السابقة ؛ عندما يكمل O3 المهلوس أو التظاهر بمهمة ما يقرب من 5 ٪ من الوقت ، GPT-5 ، وخاصة في وضع التفكير ، يفعل ذلك الآن في ما يزيد قليلاً عن 2 ٪ من الحالات ، وغالبًا ما يقدم تفسيرًا واضحًا لقيوده بدلاً من ذلك.

تقييم قوي ، فريق أحمر ، والتحسين المستمر

جهود السلامة GPT-5 من Openai في دقة تجريبية كبيرة واختبار مباشر:
-يتم اختبار النظام بشكل مستمر مقابل المعايير المصممة حديثًا والتي تستهدف بشكل خاص الواقعية المفتوحة والغموض والحالات المخاطرة عالية التأثير.
-قام المتخصصون المخصصون في فريق Red-بآلاف الساعات من قبل المتخصصين الداخليين والسلطات الخارجية "في استجابات نموذجية في سيناريوهات العدوانية والاستخدام المزدوج للكشف عن أوضاع الفشل الدقيقة ، وحصن الحماية ، واختبار الإجهاد آليات الصدق.

يتم دعم كل نشر إنتاج من خلال المراقبة في الوقت الفعلي ، والذي ينبه فرق الهندسة والسياسة إلى القضايا والأنماط الناشئة في الهلوسة أو الاستجابات غير الآمنة ، مما يتيح دورات التخفيف السريع وإعادة التدريب.

ما بعد المعالجة ، والرقابة البشرية ، وسير العمل الهجين

على الرغم من التقدم التقني ، يوصي مستخدمو Openai و Enterprise بمراجعة متعددة الطبقات لمحتوى المخاطر العالية:
- خوارزميات مخصصة لما بعد المعالجة ، مسح الاستجابات للمطالبات غير المدعومة ، والبيانات المميزة للمراجعة بناءً على التناقضات مع الحقيقة الأرضية أو مقاييس الثقة غير العادية.
- تستخدم العديد من المنظمات الآن مهام سير عمل هجينة ، تجمع بين قدرة الصياغة السريعة لـ GPT-5 مع المراجعة البشرية ، وخاصة الأهمية في الصحافة والقانون والرعاية الصحية والتجارة. هذه الهندسة المعمارية البشرية في الحلقة تقلل إلى حد كبير من خطر الهلوسة الخفية التي تهرب إلى محتوى المستخدم النهائي.
- علاوة على ذلك ، يتم استخدام الأدوات الإحصائية لتتبع وتحليل أنماط الهلوسة مع مرور الوقت ، مما يتيح كل من النموذج الأساسي من خلال حالات الاستخدام المستمرة للتكيف.

الصدق ، تعليم المستخدم ، ورفض الهلوسة

تمتد فلسفة تصميم السلامة في GPT-5 إلى اتصال المستخدم النهائي:
- يتم تعليم المستخدمين بشكل صريح إلى كل من الرافعة المالية ويقيمون بشكل نقدي مخرجات الذكاء الاصطناعى ، ويكونون على دراية بمواصلة الهلوسة المستمرة حتى مع انخفاض الإصابة.
- عندما يكتشف النظام فرصة كبيرة لإنتاج حقيقة غير مدعومة ، فإنه ينقل هذا القيد بوضوح ، ويقدم أحيانًا إرشادات حول مكان الحصول على المعلومات التي يمكن التحقق منها أو تشجيع المستخدمين على التحقق المزدوج في المجالات الحرجة.
-GPT-5 أقل احتمالًا للاستسلام لـ "sycophancy" ، وهو أمر مفرط في الماضي ، في الماضي ، أدى النماذج السابقة إلى التحقق من صحة أو اختراع المعلومات المعقولة في اسم رضا المستخدم.

القيود والتحديات المستمرة

على الرغم من هذه التطورات ، لا تزال هناك العديد من القيود ومجالات الاهتمام:
- الاعتماد على الويب والاسترجاع: تكون الدقة الواقعية أعلى عند تمكين أدوات الاسترجاع ؛ في عملية المعرفة الداخلية النقية فقط ، لا تزال معدلات الهلوسة مهمة ، مع تصل إلى 40 ٪ هلوسة في بعض إعدادات ضمان الجودة المفتوحة في غياب زيادة الاسترجاع.
- أوضاع الفشل الصامت: يمكن أن تكون بعض الإخفاقات ، مثل التهرب الجهازي (حيث ينحرف النموذج أو يتجنب استعلامًا حساسًا تحت ستار خطأ) ، أكثر غدرًا وأصعب في الكشف عن الهلوسة المباشرة.
-معايرة حالة الحافة: تظهر سلوكيات خفية وغير مرغوب فيها أحيانًا في المجالات المنخفضة أو العدوانية. وتتطلب هذه الجماعات الحمراء المستمرة ، وأبحاث السلامة ، والتكيف مع كل من السياسة النموذجية والواحدة.

خاتمة

باختصار ، توظف أنظمة السلامة والاسترجاع الخاصة بـ GPT-5 مجموعة من الأساليب التي تعتمد على الأدلة للحد من الحقائق التي تم اختراعها بشكل كبير:
- يختار بنية وحدات وموجهة بشكل تكيفي أفضل الموارد لكل استعلام.
-إجابات الأراضي المتقدمة للترجمة في مصادر محدثة وموثوقة.
-نموذج الإكمال الآمن ، وسلسلة التفكير ، ومرشحات الصدق في الوقت الفعلي ، تمنع المزيد من المحتوى غير المدعوم وتوضيح عدم اليقين.
- التقييم اليقظة ، والتعاون الحمراء ، وخط أنابيب قوي لكل من المراجعة الآلية والبشرية يكمل استراتيجية سلامة شاملة.