GPT-4.5 in GPT-4O sta tako napredna jezikovna modela, ki jih je razvil OpenAI, vsak z različnimi izboljšavami v primerjavi s svojimi predhodniki. Pri primerjavi njihove uspešnosti v smislu halucinacij GPT-4.5 kaže znatno znižanje stopnje halucinacije v primerjavi z GPT-4O.
Zmanjšanje halucinacije v GPT-4.5
-Stopnja halucinacije: GPT-4.5 ima stopnjo halucinacije približno 19%, če je testirana na naboru podatkov o personak, kar je bistveno izboljšanje v primerjavi s stopnjo GPT-4O približno 52% [2] [5]. To zmanjšanje kaže, da je GPT-4.5 zanesljivejši in manj nagnjen k ustvarjanju informacij, ki niso utemeljene v dejanskih podatkih.
-Tehnike za izboljšanje: Zmanjšanje halucinacij v GPT-4.5 je pripisano novim nadzorom tehnik v kombinaciji s tradicionalnimi metodami, kot so nadzorovano natančno nastavitev (SFT) in učenje okrepitve iz človeških povratnih informacij (RLHF) [1]. Te metode pomagajo pri izboljšanju dejanske natančnosti in zanesljivosti modela.
Primerjava uspešnosti
-Natančnost: GPT-4.5 glede na natančnost na naboru podatkov PersonQA doseže večjo natančnost 78%v primerjavi z 28%GPT-4O [2] [5]. To kaže, da GPT-4.5 ne le halucinira manj, ampak tudi bolj natančne odzive.
- Splošna zanesljivost: Nižja hitrost halucinacije in večja natančnost GPT-4.5 omogočata bolj zanesljivo izbiro za aplikacije, ki zahtevajo natančne in zanesljive informacije. Vendar pa oba modela delujeta podobno pri določenih ocenah, kot so ocene poštenosti in pristranskosti [5].
Če povzamemo, GPT-4.5 presega GPT-4O v smislu zmanjšanja halucinacije in natančnosti, zaradi česar je zanesljivejša možnost za naloge, ki zahtevajo natančne in dejanske informacije. Vendar imata oba modela svoje prednosti in slabosti na različnih področjih in ocenah.
Navedbe:
[1] https://topmostads.com/openai-release-gpt-4-5/
[2] https://assets.ctfassets.net/kftzwdyauwt9/7eadv6oawhhxlaehuyu7db/64e9f7916d3581Ba4b5d0f0a6c508d1/gpt-4-5_syscar_card
[3] https://www.reddit.com/r/openai/comments/1izq37r/gpt45s_low_hallucination_rate_is_a_gamechanger/
[4] https://www.techtarget.com/searchenterPriseai/feature/gpt-4o-vs-gpt-4-how-do-they-Compare
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://community.openai.com/t/gpt-4-vs-gpt-4o-which-is-the-better/746991
[7] https://mashable.com/article/openai-gpt-4-5-release-how-to-poskus
[8] https://www.techtarget.com/searchenterpriseai/tip/gpt-35-vs-gpt-4-biggest-differences-to-consider