GPT-4.5 och GPT-4O är båda avancerade språkmodeller utvecklade av OpenAI, var och en med distinkta förbättringar jämfört med sina föregångare. Vid jämförelse av deras prestanda i hallucinationer visar GPT-4,5 en signifikant minskning av hallucinationsgraden jämfört med GPT-4O.
Hallucinationsminskning i GPT-4.5
-Hallucinationshastighet: GPT-4,5 har en hallucinationshastighet på cirka 19% när den testas på PersonQA-datasättet, vilket är en betydande förbättring jämfört med GPT-4O: s hastighet på cirka 52% [2] [5]. Denna reduktion indikerar att GPT-4,5 är mer pålitlig och mindre benägen att generera information som inte är grundad i faktiska data.
-Förbättringstekniker: Minskningen av hallucinationer i GPT-4,5 tillskrivs nya övervakningstekniker i kombination med traditionella metoder som övervakad finjustering (SFT) och förstärkning av mänsklig feedback (RLHF) [1]. Dessa metoder hjälper till att förbättra modellens faktiska noggrannhet och tillförlitlighet.
Performansjämförelse
-Noggrannhet: När det gäller noggrannhet på PersonQA-datasättet uppnår GPT-4,5 en högre noggrannhet på 78%, jämfört med GPT-4O: s 28%[2] [5]. Detta antyder att GPT-4,5 hallucinerar inte bara mindre, utan det ger också mer exakta svar.
- Övergripande tillförlitlighet: Den lägre hallucinationshastigheten och högre noggrannhet för GPT-4,5 gör det till ett mer pålitligt val för applikationer som kräver exakt och pålitlig information. Båda modellerna fungerar emellertid på liknande sätt i vissa utvärderingar, såsom rättvisa och förspänningsbedömningar [5].
Sammanfattningsvis överträffar GPT-4,5 GPT-4O när det gäller hallucinationsminskning och noggrannhet, vilket gör det till ett mer tillförlitligt alternativ för uppgifter som kräver exakt och faktainformation. Båda modellerna har emellertid sina styrkor och svagheter över olika domäner och utvärderingar.
Citeringar:
[1] https://topmostads.com/openai-release-gpt-4-5/
[2] https://assets.ctfassets.net/kftzwdyauwt9/7eadv6oawhhxlaehuyu7db/64e9f7916d3581ba4b5d0f0a6c5098d1/gpt-4-5_system_card_2720272027202720272027202720272027202720272027202720272027202720272027202720272027202720272027202720272027202720272027202720272,PDF
[3] https://www.reddit.com/r/openai/comments/1izq37r/gpt45s_low_hallucination_rate_is_a_gamechanger/
]
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/gpt-4-vs-gpt-4o-which-is-the-better/746991
[7] https://mashable.com/article/openai-gpt-4-5-release-how-to-try
]