GPT-4.5 및 GPT-4O는 모두 OpenAI에서 개발 한 고급 언어 모델이며 각각은 전임자보다 뚜렷한 개선이 있습니다. 환각 측면에서 성능을 비교할 때 GPT-4.5는 GPT-4O와 비교하여 환각율의 현저한 감소를 보여줍니다.
환각 감소 GPT-4.5
-환각율 : GPT-4.5는 PersonQA 데이터 세트에서 테스트 할 때 환각율이 약 19%입니다. 이는 GPT-4O의 약 52%에 비해 상당한 개선입니다 [2] [5]. 이 감소는 GPT-4.5가 더 신뢰할 수 있고 사실 데이터에 근거하지 않은 정보를 생성하기 쉽다는 것을 나타냅니다.
-개선 기술 : GPT-4.5의 환각 감소는 감독 된 미세 조정 (SFT) 및 인간 피드백 (RLHF)의 강화 학습과 같은 전통적인 방법과 결합 된 새로운 감독 기술에 기인합니다 [1]. 이러한 방법은 모델의 사실 정확도와 신뢰성을 향상시키는 데 도움이됩니다.
성능 비교
-정확도 : PersonQa 데이터 세트의 정확도 측면에서 GPT-4.5는 GPT-4O의 28%[2] [5]에 비해 78%의 정확도가 높아집니다. 이는 GPT-4.5가 환각을 줄일뿐만 아니라보다 정확한 응답을 제공한다는 것을 시사합니다.
- 전체 신뢰성 : 환각율이 낮고 GPT-4.5의 정확도가 높으면 정확하고 신뢰할 수있는 정보가 필요한 응용 프로그램에 더 신뢰할 수있는 선택이됩니다. 그러나 두 모델 모두 공정성 및 편견 평가와 같은 특정 평가에서 유사하게 수행됩니다 [5].
요약하면, GPT-4.5는 환각 감소 및 정확성 측면에서 GPT-4O를 능가하여 정확하고 사실적인 정보가 필요한 작업에보다 신뢰할 수있는 옵션입니다. 그러나 두 모델 모두 다른 영역과 평가에 대한 강점과 약점이 있습니다.
인용 :
[1] https://topmestads.com/openai-release-gpt-4-5/
[2] https://assets.ctfassets.net/kftzwdyauwt9/7eadv6oawhhxlaehuyu7db/64e9f7916d3581ba4b5d0f0a6c5098d1/gpt-4-5_system_card_27225.pdf
[3] https://www.reddit.com/r/openai/comments/1izq37r/gpt45s_low_hallucination_rate_is_a_gamechanger/
[4] https://www.techtarget.com/searchenterpriseai/feature/gpt-4o-vs-gpt-4-how-do-they-compare
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/gpt-4-vs-gpt-4o-which-is-the-better/746991
[7] https://mashable.com/article/openai-gpt-4-5-release-how-try
[8] https://www.techtarget.com/searchenterpriseai/tip/gpt-35-vs-gpt-4-biggest-differences-toconsider