Millised koolitusandmed või kureerimise sammud lõikavad hallutsinatsioone GPT-5-s

Andmete kvaliteedi ja kureerimise strateegia

OpenAi esimene sammas hallutsinatsioonide vastu GPT-5-s on laiendatud, kvaliteetsete ja kureeritud andmekogumite kasutamine. See tähendab:
- Allika andmed on tõenäolisemalt kontrollitud ja mainekad.
- Selged jõupingutused tehakse teadaoleva ebausaldusväärse, erapooliku või pahatahtliku sisu eemaldamiseks või minimeerimiseks koolituseelse ja andmete värskendamise tsüklite ajal.
-Kasutaja sissejuhatavad andmed filtreeritakse, anonüümseks ja kontrollitakse faktilisuse osas enne lisamist juhendatud peenhäälestamise või preemia modelleerimisse.

Hallutsinatsiooniriski edasiseks vähendamiseks on OpenAi kasutusele võtnud ulatuslikud andmete puhastamise protsessid mürarikka, vastuolulise või sünteetilise sisu tuvastamiseks ja välistamiseks, mis võib esile kutsuda vigu mudeli väljundites.

Treeningujärgne ja tugevdus inimese tagasisidest (RLHF)

Inimese tagasiside on GPT-5 arhitektuuris keskne. Mudel läbib intensiivseid tugevdusõppe inimese tagasisidest (RLHF), milles inimese hindajad:
- Hinnake väljundeid faktilise korrektsuse, sidususe ja joondamise kohta kasutaja kavatsusega.
- Pakkuge mudeli põlvkondadele paarilisi eelistusi, premeeritavat täpsust ja informatiivsust, karistades samal ajal hallutsinatsioone.
- Need signaalid on aluse preemiamudelitele, mis optimeerivad GPT-5 veelgi, et eelistada faktiliselt korrektseid täiendusi.

Lisaks suurendavad RLHF -i automatiseeritud faktilisuse klassi õpilased, kes on valideeritud inimliku otsuse alusel hallutsinatsioonide tuvastamiseks. Need teehöövlid on nii kvantitatiivse mõõdupuu hindamisel kui ka pideva koolituse komponendina, võimaldades suuremahulist kiiret tagasisidet, mis ületab ainult inimese märkusi.

Hindamise võrdlusalused ja stressi testimine

Hallutsinatsioonide mõõtmiseks on GPT-5 rangelt stressi testitud uute avalike ja sisemiste faktiliste võrdlusalustega, näiteks LongFact (kontseptsioonid ja objektid) ja faktid (faktide otsimise viigid). Hindamisraamistik on suunatud raskemale, avatud viipadele ja pikavormilisele sisule-aladele, kus hallutsinatsioonid varem õitsesid. OpenAi sõnul toodab "GPT-5 mõtlemine" nende ülesannete puhul umbes kuus korda vähem hallutsinatsioone kui O3.

GPT-5 hinnatakse ka reaalse maailma tootmisliikluses ja spetsialiseeritud testkomplektides, kus selle võimet teadmiste lünki õigesti tunnistada ja valmistamist vältida on otseselt mõõdetud ja täiustatud. Näiteks on mudeli keeldumine leiutada olematuid varasid multimodaalsetes seadetes, võrreldes varasemate põlvkondadega võrreldes märkimisväärselt.

Arhitektuuri- ja koolitussekkumised

Mitu sügavamat sekkumist koolituse ajal hallutsinatsioone:

-Mõeldava ahela viitamine ja struktureeritud mõttekäik on sisse ehitatud koolituseelse ja peenhäälestamise etappidesse, võimaldades mudelil toota rohkem seletatavaid ja maandatud väljundeid, mitte enesekindlaid oletusi.
-Ohutu valmimise paradigma asendab vanemat keeldumispõhist ohutusmudelit, koolitamist GPT-5, et pakkuda kasulikke, piiratud vastuseid või edastada oma piire ja mõttekäike läbipaistvalt, kui ta ei saa ohutult vastata.
-Tööriistade kasutamine ja otsimise austatud genereerimine (RAG): GPT-5 koolitatakse süstemaatiliselt veebiotsingu ja väliste faktide kontrollimise tööriistade kasutamiseks päringutele, mis nõuavad ajakohaseid või väga spetsiifilisi teadmisi. See vähendab drastiliselt hallutsinatsioonide riski varjatud või kiiresti arenevatel isikutel.
- Sükofoofia vähendamine: GPT-5 kureerimistorustik kogub selgesõnaliselt andmeid, mis on kavandatud mudelite lõksuks kokkuleppe vigadena, skoorides vastuseid sünkofailidele ja kasutades neid hindeid negatiivse tasuna RLHF-i ajal, rünnates otseselt kokkuleppeprobleemiga hallutsinatsiooni.

Reaalse maailma tulemused ja piirangud

Nendest edusammudest hoolimata ei ole GPT-5 täielikult hallutsinatsioonide suhtes immuunne. Näiteks:
-Komplekssete avatud ülesannete (mõõdetuna selliste võrdlusalustega nagu Simple QA) teatatud hallutsinatsiooni kiirus on märkimisväärne, eriti kui süsteem on reaalajas faktide kontrollimise tööriistadest ära lõigatud.
- Juurdepääs veebiotsingule vähendab tõrkemäärasid märkimisväärselt, illustreerides hübriidtreeningu olulisust (ühendades staatilised kureeritud andmed koos otsinguga) hallutsinatsioonide modereerimisel.
- Teatud loomingulised või abstraktsed juhised vaidlustavad jätkuvalt süsteemi maandumismehhanismid.

Pidevad värskendused ja kogukonna tagasiside

GPT-5 süsteemi toidetakse pidevat kogukonna ja reaalajas kasutatavaid andmeid koos tagasisidemehhanismidega, mis võimaldavad avastatavate hallutsinatsioonide kiiret lappimist ja täpsustuste kasutuselevõttu nii andmete filtreerimisel kui ka preemiafunktsiooni kujundamisel. OpenAi tunnistab avalikult vajadust edasise parendamise järele, eriti kõrgete panustega domeenides nagu tervishoid ja seadus, kus vigade tolerants peab olema minimaalne.

Võtme kureerimise etappide kokkuvõte

Sünteesimiseks tuleneb hallutsinatsioonide vähendamine GPT-5-s järgmistest omavahel seotud protsessidest:

1. Eelnevate andmete valimine ja filtreerimine, rõhuasetusega mainekatest andmebaasidest hankimisele ja ajakohase faktilise sisu säilitamisele.
2. mürarikka, ebausaldusväärse või kallutatud sisu väljajätmine andmestiku kokkupaneku ajal, mida tugevdab automatiseeritud ja käsitsi ülevaatamine mitmel etapil.
3. Tugevõpe ja pidev tagasiside, mis põhineb suuremahulisel inimese ja automatiseeritud klassifitseerimisel faktilisuse ja tõepärasuse saavutamiseks.
4. Hindamine tugevate faktilisuse võrdlusaluste vastu, nii staatilised kui ka reaalmaadid, mõõtes erinevates tingimustes täpset kiirust ja hallutsinatsioonide tüüpi.
5. treeningujärgsed sekkumised, sealhulgas turvalisemad lõpuleviimisstrateegiad, selgesõnaline sükofansuse summutamine ja tugev integreerimine otsingu- või tööriistapõhiste teadmistega.
6. iteratiivne reaalajas häälestamine tootmise tagasisidest ja punaste meetmete põhjal, tagades hallutsinatsioonide uute lekete kiiresti tuvastamise ja käsitlemise.