GPT-5가 GPT-4에 비해 환각을 줄이는 이유

llms에서 환각의 정의

대형 언어 모델 (LLMS)은 때때로 환각을 생성 할 수 있습니다. **는 사실상 부정확하거나 기본 데이터에 근거하지 않은 설득력 있고 유창한 진술을 생성 할 수 있습니다. 환각에는 제작 된 사실, 부정확 한 속성 및 잘못된 논리가 포함됩니다. GPT-5의 개선은 이러한 문제를 직접 목표로하여 개방형 추론과 사실적인 질문 응답 모두에서 측정 할 수있게됩니다.

정량적 벤치 마크 비교

GPT-4와 직접 비교하는 것을 GPT-4와 직접 비교하면 환각율의 현저한 감소가 나타납니다.
-GPT-5는 Longfact 및 FactScore와 같은 사실 벤치 마크에서 GPT-4의 4.5 5.1%에 비해 환각율이 0.7 1.0%로 낮습니다.
-의료 정확도를 평가하는 Healthbench는 GPT-5의 환각율이 2%미만으로 GPT-4O의 12%보다 훨씬 낮습니다.
-일반 사용자 쿼리 (실제 시나리오)에 대한 분석에 따르면 GPT-5의 오류율은 4.8%, GPT-4O의 경우 20% 이상을 발견했습니다.
-여러 독립 소스는 GPT-4O에 비해 사실 오류가 45 인치 감소한 것을 확인하여 근거와 자기 교정의 도약을 강조합니다.

도메인 간의 이러한 일관된 이익은 근본적인 변화를 강조합니다. GPT-5의 설계 및 훈련은 사전 환각의 원천을 체계적으로 목표로합니다.

건축 혁신

사려 깊은 입력 라우팅 및 통일

GPT-5는 전문 전문가 하위 시스템 또는 헤드로 프롬프트를 동적으로 경로로 경로로 경로를 소개합니다. 이는 GPT-4의 모 놀리 식 디자인보다 훨씬 더 미세한 세분화로 목표로하는 추론과 사실을 확인할 수 있습니다. GPT-5는 적절한 모듈간에 복잡한 사용자 요청을 지능적으로 분할함으로써 컨텐츠를 교차 검토하고 여러 소스를 집계하며 지원되지 않거나 제조되지 않은 사실의 전파를 최소화 할 수 있습니다. 이 라우팅 시스템은 GPT-5의 미묘한, 복잡하거나 새로운 사실 ​​작업에 대한 우수한 처리를 뒷받침합니다.

향상된 Â 사고 모드

GPT-5의 중요한 기능은 명백한 사고 모드로, 모델이 외부 답변을 생성하기 전에 내부적으로 의도적으로, 증거를 수집하며 정보를 구성하도록 지시합니다. 벤치 마크에서, 사고가 빠르고 구조화되지 않은 모드보다 일관되게 낮을 때 GPT-5의 환각율은 (자유 형식 생성과 반대로) 모델링 구조적 추론이보다 신뢰할 수있는 출력을 생성 함을 나타냅니다. 사용자와 연구원들은 GPT-5 "사고 모드가 GPT-4O의 가장 빠른 세대 설정보다 환각 될 가능성이 6 배 적다는 것을 관찰합니다.

모델 깊이 및 컨텍스트 창

GPT-5는 컨텍스트 창과 모델 깊이를 확장하여 더 많은 정보를 참조하고 긴 출력에 대한 일관성을 유지할 수 있습니다. 이것은 더 많은 사실을 염두에두고, 드리프트를 줄이고, 플롯을 잃을 가능성이 줄어든다는 것을 의미합니다. 이는 입력 길이가 창지 제한에 접근하거나 초과 할 때 종종 이전 모델에서 환각을 유발합니다.

교육 데이터 및 방법 향상

고품질 데이터 선택 및 필터링

OpenAI 및 관련 연구자들은 사전 훈련 및 미세 조정 단계에서 GPT-5에 대한 데이터 큐 레이션을 개선했습니다. 여기에는 다음이 포함됩니다.
- 신뢰할 수없는 웹 소스, 구식 정보 및 고유 한 오류 또는 가상의 컨텐츠를 제공하는 합성 데이터의 엄격한 제외.
- 사실 분야 (과학, 의학, 법률)에 중점을 둔 선별 된 데이터 세트의 적극적인 포함.
- 참조, 인용 및 추적성에 대한보다 공격적인 필터링, 지원되지 않는 일반화를 낙담시킵니다.

이러한 신중한 데이터 선택은 GPT-5가 초기 학습 중에 소음이 적고 오해의 소지가 적은 패턴에 노출되어 환각 행동의 각인을 줄임한다는 것을 의미합니다.

고급 강화 학습 및 인간 피드백 (RLHF)

GPT-5는 인간 피드백 (RLHF)의 강화 학습을 더 크고 더 세분화 된 규모로 활용합니다. 인간의 평가자는 일반적인 도움을 위해 출력을 평가할뿐만 아니라, 특히 환각 된 사실, 지원되지 않는 청구 및 과잉 오류를 태그하고 벌금을 부과합니다. 이후 단계에서 도메인 전문가는 라벨링 (특히 건강이나 과학과 같은 고분비 도메인)에 기여하여 크라우드를 즐겁게하는 산문뿐만 아니라 모델을 엄격한 교정에 노출시킵니다.

또한 강화 학습은 이제 다목적입니다.
- 사실적인 정확성
- 전염병 불확실성의 적절한 표현 (Â 모르겠다”
- 소스 속성 및 추적 성

다중 인용 연구에 따르면 GPT-5는 GPT-4보다 모호한 상황에서 환각을 거부하는 대신 외부 소스를 확인하기위한 면책 조항이나 프롬프트를 선택합니다.

지속적인 업데이트 및 온라인 학습

GPT-4가 한 번 훈련을받은 경우, GPT-5는 지속적인 학습의 요소를 통합합니다 ** 새로운 신뢰할 수있는 정보의 정기적 인 업데이트와 사용자 및 데이터 파트너가 표시하는 것으로 알려진 오류의 활성 수정. 이 온라인 학습 루프는 문제가되는 패턴이 오래 지속되지 않음을 의미하며, 새로운 과목 (훈련 후 이벤트, 새로운 기술)에서 환각이 훨씬 더 드물다는 것을 의미합니다.

강력한 평가 프로토콜

확장 및 스트레스 테스트 사실 벤치 마크

Openai는 GPT-5에 대한 더 넓고 깊은 평가 세트에 투자하여 사실도 영역에서보다 도전적이고 미묘한 및 개방형 프롬프트로 강조했습니다.
- 짧은 사실뿐만 아니라 연장 된 추론 및 상황 유지 보수를 다루는 Longfact, Factscore 및 Healthbenchâ.
-Simple QA ** Â 웹 연결 및 오프라인 모드에서 모델을 테스트하여 고립 된 교육에서 약점을 드러냅니다.
- 실제 프롬프트는 학업 시험 질문뿐만 아니라 생산 chatgpt 트래픽을 반영합니다.

이러한 다양한 테스트를 통해 OpenAI는 GPT-4가 추측 또는 과도한 일반화가 발생하기 쉬운 Edge Case Â를 정확히 지적하고 GPT-5를 강제로 재교육하거나 조정하여 이러한 경향을 무시할 수 있습니다.

배치 후 모니터링 및 수정

생산 원격 측정 및 사용자 피드백 덕분에 OpenAI는 모델 배포 직후 환각 사고를 감지하고 해결할 수 있습니다. 이 빠른 반복은 사용자 경험과 모델 신뢰성 사이의 피드백 루프를 닫아서 오해에 대한 수정 또는 전례없는 속도로 지속적인 오류를 적용합니다.

안전, 불확실성 및 거부 메커니즘

전염병 불확실성 교정

GPT-5의 우수한 신뢰성의 한 가지 특징은 불확실성을 표현하고 자체 청구를받을 수있는 능력입니다. GPT-5는 자신감이 있지만 지원되지 않는 답변 (환각)을 생성하는 대신 다음에 교육을 받고 조정됩니다.
- 현재의 검증 가능한 지식에 대한 접근이 부족한 경우 인정하십시오.
- 사용자가 1 차 또는 권위있는 출처에 상담하도록 권장합니다.
- 모호하거나 논란의 여지가 있거나 논쟁의 여지가있는 청구를 식별하고 강조합니다.

이 자기 교체는 이전 모델에서 약점이었습니다. GPT-5는 아키텍처와 훈련 목표에 명시적인 불확실성 모델링을 구축함으로써 자체 한계에 대한 정직한 전임자를 능가합니다.

자동 사실 확인

GPT-5는 알려진 데이터베이스에 대한 검증을 위해 또는 실시간 웹 소스에 대한 검증을 위해 모델 생성 출력이 확률 론적으로 플래그를 지정하는 내부 사실 확인 계층을 통합합니다. 사실을 확인할 수없는 경우, 출력이 억제되고, 경고로 다시 작성되거나, 사용자가 외부 리소스를 확인하도록 프롬프트합니다. 이 자동화 된 메커니즘은 최종 출력으로 전달되는`환각 된 진술의 가능성을 급격히 줄입니다.

안전 인식 출력 필터링

GPT-4 및 이전 모델이 때때로 그럴듯하지만 위험한 정보 (예 : 건강 또는 법률 쿼리)를 반환 한 경우, GPT-5는 고위험 주제에 대한 고급 필터링을 구현합니다. 향상된 안전 계층은 높은 충격적인 답변을 교차 확인하고, 환각을 억제하며, 사용자 지분이 높을 때 투기 콘텐츠를 거부합니다. 이로 인해 GPT-5는 일반적인 대화뿐만 아니라 진지한 전문적인 사용을 위해 더 안전합니다.

도메인 전체의 실제 증거

약과 건강

의료 쿼리는 정밀도의 필요성으로 인해 전통적으로 LLM에 어려움을 겪고 있습니다. GPT-5는 HealthBench에서 환각율을 80% 이상 낮게, 종종 GPT-4뿐만 아니라 현재 이용 가능한 거의 모든 경쟁 모델을 능가합니다. 독립적 인 검토 자들은 GPT-5가 적극적인 사고 파트너이며, 잠재적 인 우려를 사전에 표시하고 더 유용한 답변을 제공하고 GPT-4의 때때로 투기 적 요약보다 현저한 개선을 제공한다고 지적합니다.

코딩 및 기술 작업

GPT-5는 또한 프로그래밍의 환각을 크게 줄여서 제작 된 API, 존재하지 않는 함수 및 비논리적 코드 스 니펫을 더 적게 생성합니다. 초기 모델은 그럴듯한 소리를 냈지만 수술 적 코드로 유명했습니다. 더 깊은 교육 및 사실 확인을 활용하는 GPT-5는보다 정확한 상황 인식 코드를 생성하며 응답하기 전에 모호한 요구 사항을 플래그 할 가능성이 높습니다.

일반 지식 및 뉴스

최근 이벤트 또는 미묘한 사실 주제를 제기 할 때 GPT-5는 여러 출처를 상호 참조하고 정보를 인용하며 불일치 또는 구식 컨텐츠를 더 자주 식별합니다. 특히, 제작하기보다는 Edge Case에서 추가 연구를 권장하거나 추가 연구를 권장 할 가능성이 더 높습니다.

한계 : 완전히 환각이 없음

이러한 모든 발전에도 불구하고 GPT-5는 환각에 면역되지 않습니다. 일부 독립적 인 벤치 마크와 사용자 일화는 끊임없는 교육 데이터가없는 에지 시나리오, 복잡한 추론 체인 또는 작업의 오류가 드물지만 지속적으로 강조합니다. 웹에 연결된 액세스가없는 사용자 또는 진실이 매우 모호한 도메인에있는 경우, 잘못된 출력은 여전히 ​​발생하지만 GPT-4보다 자주 덜 자주 발생합니다.

요약 : 환각 감소의 핵심 동인

결론적으로, GPT-5의 환각 감소를 담당하는 주요 요인은 다음과 같습니다.

-통합, 전문가 중심의 아키텍처 : 사실의 교차 체크 및 집계를위한 가장 적절한 하위 시스템으로 질문을 동적으로 선보입니다.
- 구조화 된 '사고'모드 : 빠른 세대에 대한 느린 증거 기반 추론 우선 순위.
- 확장 된 모델 컨텍스트 : 잘림 제조 드리프트 및 주요 세부 사항 손실을 최소화합니다.
- 엄격한 데이터 큐 레이션 및 RLHF : 신뢰할 수없는 정보를 단단히 걸러 내고 훈련에서 환각 또는 과도한 답변을 가혹하게 처벌합니다.
-심각한 벤치마킹 및 피드백 루프 : 지속적으로 스트레스 테스트 사실과 빠르게 감지 된 문제를 빠르게 수정합니다.
- 자동 검증 및 불확실성 교정 : 내부 사실 검사기, 면책 조항 및 거부는 모델을 한계에 대해 더 안전하고 정직하게 만듭니다.