GPT-5は、GPT-4と比較して幻覚を大幅に削減し、多様なベンチマーク、ドメイン、および実際のシナリオ全体で実際に精度と信頼性を大幅に改善します。この削減は、単一の変更の結果ではなく、建築革新の相乗効果、トレーニング方法の改善、高度な評価プロトコル、および安全システムの強化です。以下は、GPT-4に対する幻覚の低下傾向の背後にあるメカニズムと原則の包括的な調査です。
LLMSの幻覚の定義
大規模な言語モデル(LLM)は、幻覚を生成することがあります、基礎となるデータに実際に間違っているか、基礎となっていない説得力のある流fluentな声明が生成されます。幻覚には、製造された事実、不正確な帰属、および誤った論理が含まれます。 GPT-5の改善は、これらの問題を直接ターゲットにしており、自由回答形式の推論と事実の質問の両方で測定可能に測定可能になります。
##定量的ベンチマーク比較
GPT-5をGPT-4と直接比較すると、幻覚率が厳しい減少を明らかにします。
-LongfactやFactScoreなどの事実上のベンチマークでは、GPT-5は、GPT-4の4.5â5.1％と比較して、0.7â1.0％という低い幻覚率を示しています。
- 医療の精度を評価するHealthbenchは、GPT-5の幻覚率が2％未満で、GPT-4oの12歳よりはるかに低いことを示しています。
- 一般的なユーザークエリの分析(実際のシナリオ)では、GPT-5のエラー率は4.8％に減少し、GPT-4Oの20％以上です。
- 複数の独立した情報源は、GPT-4oと比較して実際のエラーが45の67％減少を確認し、接地と自己修正の飛躍を強調しています。
ドメイン全体のこのような一貫した利益は、基本的な変化を強調しています。GPT-5の設計とトレーニングは、以前の幻覚のソースを体系的に標的としています。
##建築革新
###思慮深い入力ルーティングと統一
GPT-5は、プロンプトを専門の専門家のサブシステムまたはヘッドに動的にルーティングする統一アーキテクチャを導入します。これにより、GPT-4のモノリシックデザインよりもはるかに細かい粒度をターゲットとする推論と事実確認が可能になります。適切なモジュール間で複雑なユーザーリクエストをインテリジェントに分割することにより、GPT-5はコンテンツをクロスバイリングし、複数のソースを集約し、サポートされていないまたは製造された事実の伝播を最小限に抑えることができます。このルーティングシステムは、GPT-5の微妙な、複雑な、または新しい事実上のタスクの優れた取り扱いを支えています。
Enhancedの思考モード
GPT-5の重要な機能は、明示的な「思考モード」です。これは、外部の回答を作成する前に、モデルに内部的に慎重に意図し、証拠を収集し、情報を整理するように指示するモードです。ベンチマークでは、GPT-5の幻覚速度は、迅速で非構造化されたモードよりも一貫して低くなっている場合、モデリング構造推論(自由形式の生成とは対照的に)がより信頼性の高い出力を生成することを示しています。ユーザーと研究者は、GPT-5の思考モードは、GPT-4oの最速発電設定よりも6倍幻覚する可能性が低いことを観察しています。
###モデルの深さとコンテキストウィンドウ
GPT-5はコンテキストウィンドウとモデルの深さを拡張し、より多くの情報を参照し、長い出力よりも一貫性を維持できるようにします。これは、より多くの事実を念頭に置いて、ドリフトを減らし、プロットを失う可能性が低くなることを意味します。
##トレーニングデータと方法の改善
###高品質のデータ選択とフィルタリング
OpenAIおよび関連研究者は、トレーニング前と微調整段階の両方で、GPT-5のデータキュレーションを洗練しています。これには次のことが含まれます。
- 固有のエラーまたは架空のコンテンツを運ぶ信頼できないWebソース、時代遅れの情報、および合成データのより厳しい除外。
- 事実上の分野(科学、医学、法律)に焦点を当てたキュレーションされたデータセットの積極的な包含。
- サポートされていない一般化を阻止する、参照、引用、およびトレーサビリティのより積極的なフィルタリング。
このような慎重なデータ選択により、GPT-5は初期学習中にノイズが少なくなり、誤解を招くパターンが少なくなり、幻覚行動の「刻印」が減少します。
Advanced Renforcement Learning and Human Feedback(RLHF)
GPT-5は、より大きく、より詳細なスケールで人間のフィードバック(RLHF)からの補強学習を活用します。人間の評価者は、一般的な有用性のためにアウトプットをランク付けするだけでなく、特に幻覚の事実、サポートされていない主張、および自信過剰エラーにタグを付けて罰します。後の段階では、ドメインの専門家は(特に健康や科学のようなハイステークスドメインで)ラベル付けに貢献し、群衆を喜ばせる散文だけでなく、モデルを厳密な修正にさらす。
さらに、補強学習は現在、多目的になります。
- 事実の正確さ
- 認識論の不確実性の適切な表現(私は知らない」と言っています)
- ソースの帰属とトレーサビリティ
複数の引用された研究は、GPT-5がGPT-4よりも曖昧な状況で幻覚を拒否し、代わりに外部ソースを確認するための免責事項またはプロンプトを選択することに注意しています。
###継続的な更新とオンライン学習
GPT-4が訓練されると大部分が静的になった場合、GPT-5には、新しい信頼できる情報からの定期的な更新、およびユーザーとデータパートナーによってフラグが付けられた既知のエラーの積極的な修正の要素が組み込まれています。このオンライン学習ループは、問題のあるパターンが長く持続しないことを意味し、新しい被験者(トレーニング後のイベント、新しいテクノロジー)の幻覚をはるかにまれにします。
##堅牢な評価プロトコル
###拡張およびストレステストの事実ベンチマーク
Openaiは、GPT-5のより広範でより深い評価セットに投資し、事実領域のより挑戦的で微妙な、オープンエンドのプロンプトで強調しました。
-longfact、factscore、およびHealthbenchの短いファクトイドだけでなく、推論とコンテキストのメンテナンスを拡張しました。
- 単純なQA **âWeb接続モードとオフラインモードの両方でモデルをテストし、孤立したトレーニングの弱点を公開します。
- 現実世界のプロンプトは、アカデミックテストの質問だけでなく、生産ChatGptトラフィックを反映したセットを設定します。
これらの多様なテストにより、OpenAIは「エッジケース」を特定することができます。ここでは、GPT-4は推測または過剰な一般化を起こしやすくなり、GPT-5を強制的に再訓練または調整して、これらの傾向を無効にします。
###展開後の監視と修正
生産テレメトリとユーザーフィードバックのおかげで、Openaiはモデルの展開後まもなく幻覚発生を検出および対処することができます。この迅速な反復により、ユーザーエクスペリエンスとモデルの信頼性の間のフィードバックループが閉じられ、前例のない速度での誤ったエラーまたは永続的なエラーの修正が適用されます。
##安全性、不確実性、拒否メカニズム
###認識論の不確実性キャリブレーション
GPT-5の優れた信頼性の特徴の1つは、不確実性を表現し、独自の主張を適格にする能力です。自信を持っているがサポートされていない回答(幻覚)を生成するのではなく、GPT-5は訓練され、次のように調整されています。
- 現在の検証可能な知識へのアクセスがないことを認めます。
- ユーザーにプライマリまたは権威ある情報源に相談するよう奨励します。
- 曖昧な、物議を醸す、または争われた主張を特定し、強調します。
このセルフキャリブレーションは、以前のモデルでは弱点でした。アーキテクチャとトレーニングの目標の両方に明示的な不確実性モデリングを構築することにより、GPT-5は、独自の限界について正直に前任者よりも優れています。
###自動化された事実検証
GPT-5には、既知のデータベースに対する検証または利用可能な場合、リアルタイムWebソースに対するモデル生成出力が確率的にフラグが立てられている内部ファクトチェックレイヤーが組み込まれています。事実を確認できない場合、出力は抑制されたり、警告で書き直されたり、ユーザーに外部リソースを確認するように促します。この自動化されたメカニズムは、幻覚の声明が最終出力に移行する可能性を鋭く削減します。
###セーフティアウェア出力フィルタリング
GPT-4および以前のモデルが時折もっともらしいが危険な情報を返した場合(たとえば、健康や法的クエリなど)、GPT-5は高リスクトピックの高度なフィルタリングを実装します。強化された安全層の強化された高インパクトの回答をクロスチェックし、幻覚の可能性を抑制し、ユーザーの利害関係が高いときに投機的コンテンツを拒否します。これにより、GPT-5は一般的なチャットだけでなく、真剣に専門的に使用するために安全になります。
##ドメイン全体の実用的な証拠
###医学と健康
医療クエリは、精度が必要なため、伝統的にLLMにとって挑戦的です。 GPT-5は、Healthbenchで少なくとも80％低い幻覚率を獲得し、GPT-4だけでなく、現在利用可能なほぼすべての競争モデルを上回ることがよくあります。独立したレビュアーは、GPT-5は積極的な思考パートナーであり、潜在的な懸念に積極的にフラグを立て、GPT-4の投機的な要約よりも顕著な改善を与えることであることに注意してください。
###コーディングと技術タスク
GPT-5はまた、プログラミングの幻覚を大幅に減らし、製造されたAPI、存在しない機能、および非論理的コードスニペットの生成を生成します。初期のモデルは、もっともらしいサウンドでありながら動作的なコードで有名でした。 GPT-5は、より深いトレーニングとファクトチェックを活用し、より正確でコンテキスト対応コードを生成し、応答する前に曖昧な要件にフラグを立てる可能性が高くなります。
###一般的な知識とニュース
最近のイベントや微妙な事実上のトピックに促されると、GPT-5の相互参照複数のソースが相互参照され、情報を引用し、より頻繁に矛盾または時代遅れのコンテンツを特定します。特に、製造するのではなく、エッジケースで追加の研究を知らないか、お勧めしないと言っている可能性が高くなります。
###制限：幻覚が完全にない
これらすべての進歩にもかかわらず、GPT-5は幻覚の影響を受けません。一部の独立したベンチマークとユーザーの逸話は、よりまれではありますが、エッジシナリオのエラー、複雑な推論チェーン、または信頼できるトレーニングデータのないタスクを強調します。 Web接続アクセスのないユーザーや、真実が非常に曖昧なドメインでは、GPT-4よりも著しく頻繁に少ないものの、誤った出力が依然として発生します。
##概要：幻覚削減のコアドライバー
結論として、GPT-5のGPT-4に対する幻覚の大幅な減少の原因となる重要な要因は、次のとおりです。
- 統一された専門家主導のアーキテクチャ：事実のクロスチェックと集約のために、最も適切なサブシステムに質問を動的にルーティングします。
- 構造化された「思考」モード：速い発電におけるゆっくりと証拠に基づいた推論に優先順位を付けます。
- 拡張されたモデルコンテキスト：切り捨てられたドリフトと重要な詳細の喪失を最小限に抑えます。
- より厳しいデータキュレーションとRLHF：信頼性の低い情報をしっかりとろ過し、トレーニングで幻覚または自信過剰の回答を厳しく罰します。
- 深刻なベンチマークとフィードバックループ：事実を継続的にストレステストし、発売後に検出された問題を迅速に修正します
- 自動検証と不確実性のキャリブレーション：内部の事実確認者、免責事項、および拒否により、モデルの制限についてモデルがより安全で正直になります。