OpenAi uusim mudel GPT-4.5 näitab hallutsinatsioonimäärade olulist vähenemist võrreldes eelkäijatega. Ehkki see näitab üldiselt hallutsinatsioonimäära umbes 37%, on olemas konkreetsed domeenid ja hinnangud, kus selle jõudlus on märkimisväärselt parem.
hallutsinatsiooni vähendamise tehnikad
GPT-4.5 kasutab uusi järelevalvetehnikaid, sealhulgas juhendatud peenhäälestamist (SFT) ja tugevdavat õppimist inimese tagasisidest (RLHF), mis aitavad kaasa selle madalamale hallutsinatsiooni määrale [1] [3]. Need meetodid aitavad parandada mudeli täpsust ja usaldusväärsust, tagades, et see genereerib faktilisi andmeid.
jõudlus konkreetsetes domeenides
- Personali hindamine: Personalqa andmestikus, mis proovib mudeli võimet vastata inimeste kohta täpselt küsimustele, näitab GPT-4.5 hallutsinatsiooni määr umbes 19%. See on madalam kui tema üldmäär ja näitab, et domeenides, mis hõlmavad üksikisikute kohta faktilist teavet, toimib GPT-4.5 hästi vähem hallutsinatsioonidega [3].
-Keelega seotud ülesanded: GPT-4,5 paistab välja kirjutamis- ja programmeerimisülesanded, pakkudes üksikasjalikke selgitusi ja abi praktiliste probleemide lahendamisel. Kuigi nende ülesannete spetsiifilised hallutsinatsioonimäärad ei ole üksikasjalikud, aitavad mudeli täiustatud mustrituvastus ja laiem teadmistebaas täpsemaid ja usaldusväärsemaid väljundeid [1] [5].
- Võrdlus teiste mudelitega: teatud hinnangutes, näiteks O1 arutluskäigu mudel, on GPT-4.5 hallutsinatsiooni määr kõrgem (37% vs 44% O1 puhul). GPT-4.5 on siiski mõeldud pigem üldotstarbeliste rakenduste jaoks kui spetsiaalsete mõttekäikude jaoks [5].
Üldiselt on GPT-4,5 hallutsinatsiooni määr eriti madal domeenides, kus seda on laialdaselt koolitatud ja hinnatud, näiteks PersonQA andmestikus. Selle jõudlus võib aga erinevate ülesannete ja hinnangute vahel erineda, kajastades jätkuvaid väljakutseid hallutsinatsioonide vähendamisel AI mudelites.
Tsitaadid:
[1] https://topololtads.com/openai-release-gpt-4-5/
]
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
]
[6] https://www.youtube.com/watch?v=ktwk3hbajdy
[7] https://garymarcus.substack.com/p/gpt-45-is-no-gpt-5
]