لماذا تقلل GPT-5 من الهلوسة مقارنة بـ GPT-4

تعريف الهلوسة في LLMS

يمكن أن تولد نماذج اللغة الكبيرة (LLMS) في بعض الأحيان الهلوسة ** Â عبارات مقنعة وطلاقة غير صحيحة في الواقع أو لا ترتكز على البيانات الأساسية. تشمل الهلوسة الحقائق ملفقة ، والسمات غير الدقيقة ، والمنطق غير الصحيح. تستهدف تحسينات GPT-5 هذه المشكلات مباشرة ، مما يجعلها أكثر تعقيدًا في كل من المنطق المفتوح وإجابات الأسئلة الواقعية.

المقارنات القياسية الكمية

تكشف مقارنة GPT-5 مباشرة مقابل GPT-4 عن تخفيضات صارخة في معدلات الهلوسة:
-على معايير الواقعية مثل Longfact و FactScore ، يوضح GPT-5 معدلات الهلوسة تصل إلى 0.7 ٪ ، مقارنة بـ GPT-4's 4.5 5 ٪.
-GPTBENCH ، التي تقيم الدقة الطبية ، تُظهر معدل الهلوسة GPT-5 أقل من 2 ٪ ، أقل بكثير من GPT-4O's 12â 15 ٪.
-يجد التحليل على استعلامات المستخدم الشائعة (سيناريوهات العالم الحقيقي) معدل خطأ GPT-5 إلى 4.8 ٪ ، مقابل 20 ٪ لـ GPT-4O.
-تؤكد مصادر مستقلة متعددة على انخفاض بنسبة 45 دولارًا في الأخطاء الواقعية مقارنة بـ GPT-4O ، مما يبرز القفزة في الأساس والتصحيح الذاتي.

تؤكد هذه المكاسب المتسقة عبر المجالات على تحول أساسي: تصميم وتدريب GPT-5 يستهدف بشكل منهجي مصادر الهلوسة السابقة.

الابتكارات المعمارية

توجيه المدخلات المدروسة وتوحيدها

يقدم GPT-5 بنية موحدة توجه ديناميكيًا إلى أنظمة فرعية متخصصة من الخبراء أو Â رؤساء. هذا يسمح بالتفكير المستهدف والتحقق من الحقائق في دقة بكثير من تصميم GPT-4 المتجانس. من خلال تقسيم طلبات المستخدم المعقدة بذكاء بين الوحدات النمطية المناسبة ، يمكن لـ GPT-5 تحديد المحتوى المتقاطع ، وتجميع مصادر متعددة ، وتقليل انتشار الحقائق غير المدعومة أو المصنعة. يعمل نظام التوجيه هذا على تعامل GPT-5 المتفوق للمهام الواقعية أو المعقدة أو الجديدة.

وضع التفكير

ميزة مهمة في GPT-5 هي وضع التفكير الصريح ، الذي يرشد النموذج للتداول داخليًا وجمع الأدلة وتنظيم المعلومات قبل إنتاج إجابة خارجية. في المعايير ، فإن معدل الهلوسة في GPT-5 عندما يكون التفكير أقل باستمرار منه في الوضع السريع غير المنظم ، مما يشير إلى أن نمذجة التفكير المنظم (على عكس توليد الشكل الحر) تنتج مخرجات أكثر موثوقية. يلاحظ المستخدمون والباحثون أن وضع التفكير GPT-5 Â أقل عرضة بست مرات في الهلوسة من أسرع إعدادات GPT-4O.

عمق النموذج ونافذة السياق

يمتد GPT-5 نافذة السياق وعمق النموذج ، مما يتيح لها الرجوع إلى مزيد من المعلومات والحفاظ على التماسك على المخرجات الطويلة. هذا يعني أنه يحافظ على المزيد من الحقائق - في الاعتبار ، "تقليل الانجراف ويجعل من غير المرجح أن" فقدان المؤامرة ، والتي غالباً ما تؤدي إلى الهلوسة في النماذج السابقة عندما تقترب أطوال الإدخال أو تتجاوز حد النافذة.

تحسين بيانات وأساليب التدريب

اختيار البيانات وتصفية عالية الجودة

قام الباحثون Openai والباحثين المرتبطين بتصوير البيانات لـ GPT-5 ، سواء في مراحل ما قبل التدريب والمدرب. هذا ينطوي على:
- استبعاد أكثر صرامة لمصادر الويب غير الموثوقة والمعلومات القديمة والبيانات الاصطناعية التي تحمل أخطاء متأصلة أو محتوى خيالي.
- التضمين النشط لمجموعات البيانات المنسقة التي تركز على التخصصات الواقعية (العلوم ، الطب ، القانون).
- تصفية أكثر عدوانية للمراجع ، الاستشهادات ، والتتبع ، مما يثبط التعميم غير المدعوم.

يعني اختيار البيانات الدقيق هذا أن GPT-5 يتعرض لضوضاء أقل وأقل من أنماط مضللة خلال تعلمها الأولي ، مما يقلل من "بصمة السلوك".

تعلم التعزيز المتقدم والتعليقات البشرية (RLHF)

يعزز GPT-5 التعلم التعزيز من التعليقات البشرية (RLHF) على نطاق أكبر وأكثر حبيبات. لا يقوم المقيمون البشريون بتصنيف المخرجات للمساعدة العامة ، ولكن على وجه التحديد وضع علامة على الحقائق الهلوسة ومعاقتها ، والمطالبات غير المدعومة ، والأخطاء المفرطة في الثقة. في المراحل اللاحقة ، يساهم خبراء المجالين في وضع العلامات (خاصة في مجالات المخاطر العالية مثل الصحة أو العلوم) ، مما يعرض النموذج للتصحيح الصارم ، وليس فقط النثر لإرضاء الحشود.

بالإضافة إلى ذلك ، أصبح التعلم التعزيز الآن متعدد الأهداف:
- صحة واقعية
- التعبير الصحيح عن عدم اليقين المعرفي (قائلاً "لا أعرف)
- إسناد المصدر وتتبعه

تلاحظ دراسات متعددة المستشهد بها أن GPT-5 يرفض الهلوس في المواقف الغامضة بشكل متكرر أكثر من GPT-4 ، بدلاً من ذلك يختار إخلاء المسئولية أو المطالبات للتحقق من المصادر الخارجية.

التحديث المستمر والتعلم عبر الإنترنت

حيث كان GPT-4 ثابتًا إلى حد كبير بمجرد تدريبه ، يشتمل GPT-5 على عناصر من التعلم المستمر ** تحديثات دورية من معلومات جديدة موثوق بها ، وتصحيح نشط للأخطاء المعروفة كما تم وضع علامة عليها من قبل المستخدمين وشركاء البيانات. تعني حلقة التعلم عبر الإنترنت أن الأنماط الإشكالية لا تستمر لفترة طويلة ، مما يجعل الهلوسة في الموضوعات الأحدث (أحداث ما بعد التدريب ، تقنيات جديدة) نادرة.

بروتوكولات تقييم قوية

موسع معايير الواقعية التي تم اختبارها الإجهاد

تم استثمار Openai في مجموعات تقييم أوسع وأعمق لـ GPT-5 ، متأكيدًا عليها بمطالبات أكثر تحديًا ودقيقة ومفتوحة في مجال الواقعية:
- Longfact و FactScore و HealthBenchâ لا تغطي فقط حقائق قصيرة ولكن الممتد المنطق وصيانة السياق.
- QA البسيط ** Â اختبار النموذج في كل من أوضاع الويب المتصلة بالإنترنت ، وفضح نقاط الضعف في التدريب المعزول.
- يضع موجه في العالم الحقيقي عكس حركة مرور الإنتاج ، وليس فقط أسئلة الاختبار الأكاديمية.

تتيح هذه الاختبارات المتنوعة Openai تحديد "الحالات الحافة" حيث تكون GPT-4 عرضة للمضاربة أو الإفراط في التقويم وإعادة تدريب أو ضبط GPT-5 القسري لتجاوز تلك الميول.

مراقبة وتصحيح ما بعد النشر

بفضل القياس عن بُعد الإنتاج وتعليقات المستخدمين ، يمكن لـ Openai اكتشاف حوادث الهلوسة ومعالجتها بعد فترة وجيزة من نشر النموذج. يغلق هذا التكرار السريع حلقة التغذية المرتدة بين تجربة المستخدم وموثوقية النموذج ، وتطبيق تصحيحات لسوء التصميم أو الأخطاء المستمرة بسرعة غير مسبوقة.

السلامة ، عدم اليقين ، وآليات الرفض

معايرة عدم اليقين المعرفية

تتمثل إحدى السمات المميزة في موثوقية GPT-5 المتفوقة في قدرتها على التعبير عن عدم اليقين وتأهيل مطالباتها الخاصة. بدلاً من توليد إجابات واثقة ولكنها غير مدعومة (الهلوسة) ، يتم تدريب GPT-5 وضبطها على:
- اعترف عندما تفتقر إلى الوصول إلى المعرفة الحالية القابلة للتحقق.
- شجع المستخدمين على استشارة المصادر الأولية أو الموثوقة.
- تحديد وتمييز المطالبات الغامضة أو المثيرة للجدل أو المتنازع عليها.

كانت هذه المعايرة الذاتية نقطة ضعف في النماذج السابقة. من خلال بناء نمذجة عدم اليقين الصريحة في كل من أهداف الهندسة المعمارية والتدريب ، يتفوق GPT-5 على الأداء السابقين في صدق حول حدوده.

التحقق الآلي للحقيقة

يشتمل GPT-5 على طبقة داخلية للتحقق من الحقائق ، حيث يتم وضع علامة على المخرجات التي تم إنشاؤها بواسطة النماذج بشكل احتمالي للتحقق من قواعد البيانات المعروفة أو عند توفرها ، مصادر الويب في الوقت الفعلي. إذا تعذر تأكيد الحقائق ، يتم قمع المخرجات أو إعادة كتابتها باستخدام المحاذير أو مطالبة المستخدم بالتحقق من الموارد الخارجية. هذه الآلية الآلية تقلل بشكل حاد من احتمال وجود بيان هلوس يمر إلى الناتج النهائي.

تصفية الإخراج السلامة

حيث عادت GPT-4 والنماذج السابقة أحيانًا إلى معلومات معقولة ولكن محفوفة بالمخاطر (على سبيل المثال ، في الاستفسارات الصحية أو القانونية) ، تنفذ GPT-5 تصفية متقدمة للمواضيع عالية الخطورة. تحسن طبقات الأمان ، فحص الإجابات عالية التأثير ، وقمع الهلوسة المحتملة ، ورفض محتوى المضاربة عندما تكون مخاطر المستخدم عالية. هذا يجعل GPT-5 أكثر أمانًا ليس فقط للمحادثات العامة ، ولكن للاستخدام المهني الجاد.

أدلة عملية عبر المجالات

الطب والصحة

الاستعلامات الطبية تشكل تحديًا تقليديًا بالنسبة إلى LLMs بسبب الحاجة إلى الدقة. يسجل GPT-5 معدلات الهلوسة أقل بنسبة 80 ٪ على الأقل على HealthBench ، وغالبًا ما تتفوق على GPT-4 فحسب ، بل جميع النماذج التنافسية المتوفرة حاليًا. يلاحظ المراجعون المستقلون أن GPT-5 هو "شريك فكري نشط ، ويشير إلى الشواغل المحتملة بشكل استباقي وإعطاء إجابات مفيدة-تحسن ملحوظ على ملخصات GPT-4 في بعض الأحيان.

الترميز والمهام الفنية

كما يقلل GPT-5 بشكل كبير من الهلوسة في البرمجة ، مما يولد أقل من واجهات برمجة التطبيقات ملفقة ، وظائف غير موجودة ، ومقتطفات التعليمات البرمجية غير المنطقية. كانت النماذج المبكرة سيئة السمعة للأسواق المعقولة ، لكنها غير صالحة للعمل ؛ GPT-5 ، الاستفادة من تدريبها الأعمق وتكسير الحقائق ، ينتج رمزًا أكثر دقة ودراية بالسياق ومن المرجح أن يوضح المتطلبات الغامضة قبل الاستجابة.

المعرفة العامة والأخبار

عند المطالبة بالأحداث الحديثة أو الموضوعات الواقعية الدقيقة ، فإن GPT-5 المراجع عبر مصادر متعددة ، وتستشهد بالمعلومات ، وغالبًا ما تحدد التناقضات أو المحتوى الذي عفا عليه الزمن. والجدير بالذكر أنه من المرجح أن أقول "لا أعرف أو أوصي بحثي إضافي في حالات الحافة ، بدلاً من التصنيع.

القيود: ليست خالية من الهلوسة بالكامل

على الرغم من كل هذه التطورات ، فإن GPT-5 ليس محصنًا من الهلوسة. تبرز بعض المعايير المستقلة وحكايات المستخدمين الأخطاء المستمرة ، على الرغم من ندرة ، في سيناريوهات الحافة ، أو سلاسل التفكير المعقدة ، أو المهام دون بيانات تدريب موثوقة. بالنسبة للمستخدمين الذين ليس لديهم وصول متصل بالويب أو في المجالات التي تكون فيها الحقيقة غامضة للغاية ، لا تزال مخرجات غير صحيحة تحدث ، على الرغم من أنها أقل بشكل ملحوظ من GPT-4.

ملخص: المحركات الأساسية لخفض الهلوسة

في الختام ، فإن العوامل الرئيسية المسؤولة عن تخفيض GPT-5 الكبير في الهلوسة أكثر من GPT-4 هي:

-الهندسة المعمارية الموحدة التي يحركها الخبراء: توجيه أسئلة ديناميكيًا إلى أنسب الأنظمة الفرعية من أجل التحقيق المتقاطع وتجميع الحقائق.
- وضع "التفكير" المنظم: يعطي الأولوية للتفكير البطيء القائم على الأدلة على الجيل السريع.
- سياق النموذج الموسع: يقلل من الانجراف المسبق للاقترق وفقدان التفاصيل الرئيسية.
- ترتيب بيانات أكثر صرامة و RLHF: يقوم بإحكام بتصفية معلومات غير موثوقة ومعاقبة بقسوة الإجابات المصنوعة من الهلوس أو المفرط في التدريب.
-حلقات قياس خطيرة وحلقات ردود الفعل: اختبارات الإجهاد باستمرار وتصحيح بسرعة المشكلات المكتشفة بعد الإطلاق
- التحقق الآلي ومعايرة عدم اليقين: يدرس المحققون الداخليون ، وإخلاء المسئولية ، والرفض النموذج أكثر أمانًا وأكثر صدقًا بشأن حدوده.