GPT-5の幻覚率の低下は、トレーニングデータのキュレーションと高度なトレーニング方法論の両方に起因しています。 Openaiは、GPT-5の応答がGPT-4oと比較して最大45％少ない事実上の誤差を含む可能性が最大45％少ないことを公然と報告しており、その高度な「推論」モードでは、事実上のエラーは以前のO3モデルと比較して約80％減少します。 GPT-5の幻覚の抑制は、単一のデータセットの結果ではなく、データセットのアセンブリ、フィルタリング、人間のフィードバックによる継続的なトレーニング、および外部の事実チェックリソースの統合の洗練されたプロセスです。
##データ品質とキュレーション戦略
GPT-5での幻覚に対するOpenaiの最初の柱は、拡張、高品質、キュレーションされたデータセットの使用です。これはつまり：
- ソースデータは、検証され、評判が高い可能性が高くなります。
- トレーニング前およびデータリフレッシュサイクル中に、既知の信頼性、バイアス、または悪意のあるコンテンツを削除または最小化するための明示的な努力がなされます。
- ユーザーコントリブされたデータは、監視された微調整または報酬モデリングに含める前に、事実性のためにフィルタリング、匿名化、および精査されます。
幻覚のリスクをさらに減らすために、Openaiは、モデルの出力にエラーを誘発する可能性のあるノイズ、矛盾した、または合成コンテンツを特定して除外するために、広範なデータクリーニングプロセスを展開しました。
##人間のフィードバックからのトレーニング後と強化(RLHF)
人間のフィードバックは、GPT-5のアーキテクチャの中心です。このモデルは、人間のフィードバック(RLHF)からの強化学習の集中的なラウンドを受けます。
- 事実上の正確性、一貫性、およびユーザーの意図との整合についての出力を裁判官。
- モデル世代のペアワイズ設定、幻覚を罰しながら、正確さと情報に報いる情報を提供します。
- これらの信号は、GPT-5をさらに最適化して、事実上修正を適切にすることをさらに最適化する報酬モデルの基礎を形成します。
さらに、RLHFは、幻覚の検出を拡大するために、人間の判断に対して検証された自動化された事実性グレーダーによって増強されます。これらのグレーダーは、評価における定量的基準として、また継続的なトレーニングのコンポーネントとして機能し、人間の注釈だけを超えて大規模で迅速なフィードバックループを可能にします。
##評価ベンチマークとストレステスト
幻覚を測定するために、GPT-5は、Longfact(概念とオブジェクト)やファクトスコア(ファクトシーキングプロンプト)などの新しい公共および内部の事実上のベンチマークに厳密にストレステストされています。評価フレームワークは、幻覚が以前に栄養化されていた領域である、より硬く、オープンエンドのプロンプトと長編コンテンツをターゲットにしています。 Openaiによると、「GPT-5思考」は、これらのタスクでO3の約6倍少ない幻覚を生成します。
GPT-5は、実際の生産トラフィックと専門的なテストセットでも評価されます。このテストセットでは、知識のギャップを正しく認め、製造を避ける能力が直接測定および改善されます。たとえば、マルチモーダル設定で存在しない資産を発明するモデルの拒否は、以前の世代と比較して著しく改善されています。
##建築およびトレーニングの介入
トレーニング中のいくつかのより深い介入ターゲットの幻覚：
- 考え方のチェーンプロンプトと構造化された推論は、トレーニング前および微調整フェーズに組み込まれており、モデルが自信のある推測ではなく、より説明しやすく根拠のある出力を生成できるようにします。
- 安全な完了パラダイムは、古い拒否ベースの安全モデルであるGPT-5をトレーニングして、有用で境界のある応答を提供するか、安全に答えることができない場合にその制限と推論を透過的に伝えるように置き換えます。
- ツールの使用と検索の生成(RAG)：GPT-5は、最新または非常に具体的な知識を必要とするクエリのWeb検索と外部ファクトチェックツールを活用するために体系的に訓練されています。これにより、あいまいな被験者または速く進化する被験者に対する幻覚のリスクが大幅に減少します。
- サイコファンシー削減：GPT-5のキュレーションパイプラインは、「一致」エラーでモデルをトラップするように設計されたデータを明示的に収集し、sycophancyの回答を採点し、RLHF中にこれらのスコアを否定的な報酬として使用し、契約上の問題による幻覚を直接攻撃します。
##実際の結果と制限
これらの進歩にもかかわらず、GPT-5は幻覚の免疫は完全にはありません。例えば：
- 特に、システムがライブファクトチェックツールから遮断されている場合、複雑でオープンエンドのタスク(単純なQAのようなベンチマークで測定)の幻覚率は重要です。
- Web検索へのアクセスにより、エラー率が大幅に低下し、幻覚のモデレートにおけるハイブリッドトレーニング(静的キュレーションデータと検索)の重要性を示しています。
- 特定の創造的または抽象的なプロンプトは、システムの接地メカニズムに挑戦し続けています。
##継続的な更新とコミュニティフィードバック
GPT-5のシステムには、進行中のコミュニティと実質ユーザーのデータが提供されており、データフィルタリングと報酬機能設計の両方で発見された幻覚と改良の展開を迅速にパッチすることを可能にするフィードバックメカニズムを備えています。 Openaiは、特にヘルスケアや法律などのハイステークスドメインでは、エラーの許容度が最小限でなければならない、さらなる改善の必要性を公然と認めています。
##キーキュレーション手順の概要
合成するために、GPT-5の幻覚の減少は、次の相互リンクプロセスから生じます。
1.評判の良いデータベースからの調達と最新の事実コンテンツの維持に重点を置いた、細心のトレーニング前のデータの選択とフィルタリング。
2。複数の段階での自動化および手動のレビューによって強化されたデータセットアセンブリ中のノイズ、信頼性のない、または偏ったコンテンツの除外。
3。事実と真実性のための大規模な人間と自動化されたグレーディングに基づく補強学習と継続的なフィードバック。
4.静的および実世界の両方の堅牢な事実ベンチマークに対する評価。さまざまな条件下での正確な速度と幻覚の種類を測定します。
5。より安全な完了戦略、明示的なシコファンシー抑制、検索またはツールベースの知識との強力な統合を含む、訓練後の介入。
6.生産フィードバックとレッドチーミングからの反復ライブチューニングで、幻覚の新しい漏れが迅速に検出され、対処されるようにします。