Miért csökkenti a GPT-5 a hallucinációkat a GPT-4-hez képest?

A hallucináció meghatározása az LLMS -ben

A nagy nyelvi modellek (LLM) néha hallucinációkat generálhatnak ** meggyőző, folyékony állításokat, amelyek ténylegesen tévesek vagy nem alapulnak az alapul szolgáló adatokban. A hallucinációk magukban foglalják a gyártott tényeket, pontatlan hozzárendeléseket és a helytelen logikát. A GPT-5 fejlesztései közvetlenül megcélozzák ezeket a kérdéseket, ezáltal mérhetőbbébb megbízhatóbbá téve mind a nyílt végű érvelés, mind a ténybeli kérdések ellen.

Kvantitatív benchmark összehasonlítások

A GPT-5 összehasonlítása a GPT-4-rel feltárja a hallucinációs arány szigorú csökkenését:
-A tényleges referenciaértékeknél, mint például a Longfact és a FactScore, a GPT-5 a hallucinációs sebességet 0,7 1,0%-kal mutatja be, szemben a GPT-4 4,5 5 5-ös 5,1%-kal.
-Az HealthBench, amely értékeli az orvosi pontosságot, a GPT-5 hallucinációs arányát 2%alatt mutatja, ami jóval alacsonyabb, mint a GPT-4O 12-os 15%-a.
-A közös felhasználói lekérdezések (valós forgatókönyvek) elemzése a GPT-5 hibaarányát 4,8% -ra mutatja, szemben a GPT-4O 20% -ával.
-Több független forrás megerősíti a ténybeli hibák 45 67% -os csökkentését a GPT-4O-hoz képest, kiemelve a földelés és az önjavítás ugrását.

A domainek ilyen következetes nyereségei hangsúlyozzák az alapvető eltolódást: a GPT-5 tervezése és képzése szisztematikusan megcélozza a korábbi hallucináció forrásait.

Építészeti innovációk

Átgondolt bemeneti útválasztás és egyesülés

A GPT-5 bevezet egy egységes architektúrát, amely dinamikusan irányítja a speciális szakértői alrendszereket vagy a fejeket. A komplex felhasználói kérések intelligens felosztásával a megfelelő modulok között a GPT-5 keresztirányban ellenőrizheti a tartalmat, összesítheti a több forrást és minimalizálhatja a nem támogatott vagy gyártott tények terjedését. Ez az útválasztási rendszer alátámasztja a GPT-5, az árnyalt, összetett vagy új ténybeli feladatokat.

továbbfejlesztett gondolkodásmód

A GPT-5 kritikus jellemzője az explicit gondolkodásmód, amely arra utasítja a modellt, hogy a külső válasz elkészítése előtt belsőleg szándékos legyen, bizonyítékokat gyűjtsön és információkat szervezzen. A referenciaértékekben a GPT-5 hallucinációs aránya, amikor a gondolkodás következetesen alacsonyabb, mint a gyors, nem strukturált módban, jelzi, hogy a strukturált érvelés modellezése (szemben a szabad formatermeléssel szemben) megbízhatóbb kimeneteket eredményez. A felhasználók és a kutatók megfigyelik, hogy a GPT-5 gondolkodásmód hatszor kevésbé valószínű, hogy hallucinál, mint a GPT-4O leggyorsabb generációs beállításai.

Modell mélység és kontextus ablak

A GPT-5 kiterjeszti a kontextusablakát és a modell mélységét, lehetővé téve, hogy további információkra hivatkozzon, és fenntartsa a koherenciát a hosszú kimenetekre. Ez azt jelenti, hogy több tényt szem előtt tartva, a sodródás csökkentését és a kevésbé valószínűsíthető, hogy elveszíti a cselekményt, és amely gyakran hallucinációkat vált ki a korábbi modellekben, amikor a bemeneti hossz megközelíti vagy meghaladja az ablakkorlátjukat.

Javított képzési adatok és módszerek

Kiváló minőségű adatok kiválasztása és szűrése

Az Openai és a kapcsolódó kutatók finomították a GPT-5 adatkurációját, mind az előzetes, mind a finomhangolás szakaszában. Ez magában foglalja:
- A megbízhatatlan webforrások, elavult információk és szintetikus adatok szigorúbb kizárása, amelyek velejáró hibákat vagy kitalált tartalmat hordoznak.
- A ténybeli tudományágakra összpontosító kurátus adatkészletek aktív beillesztése (tudomány, orvostudomány, törvény).
- Agresszívebb szűrés a referenciákhoz, a hivatkozásokhoz és a nyomon követhetőséghez, elriasztva a nem támogatott általánosítást.

Az ilyen gondos adatválasztás azt jelenti, hogy a GPT-5 kevesebb zajnak és kevesebb félrevezető mintának van kitéve a kezdeti tanulás során, csökkentve a hallucinációs viselkedés  lenyomatát.

Fejlett megerősítési tanulás és emberi visszajelzés (RLHF)

A GPT-5 nagyobb, szemcsés skálán kihasználja az emberi visszacsatolás (RLHF) megerősítését. Az emberi értékelők nemcsak az általános hasznosság kimeneteit rangsorolják, hanem kifejezetten megcímkézik és büntetik a hallucinált tényeket, a nem támogatott követeléseket és a túlzott bizalmas hibákat. Későbbi szakaszokban a domain szakértők hozzájárulnak a címkézéshez (különösen a magas tétekben, például az egészség vagy a tudományban), a modell szigorú korrekciónak, nem csak a tömeg kellemes prózájának kitettségével.

Ezenkívül a megerősítési tanulás most többcélú:
- Tényleges helyesség
- Az episztemikus bizonytalanság megfelelő kifejezése (mondván - nem tudom)
- Forrás hozzárendelés és nyomon követhetőség

Több idézett tanulmány megjegyzi, hogy a GPT-5 megtagadja a kétértelmű helyzetekben való hallucinációt, mint a GPT-4, ehelyett a nyilatkozatokat vagy a külső források ellenőrzésére irányuló felszólításokat választja.

Folyamatos frissítés és online tanulás

Ahol a GPT-4 nagyrészt statikus volt, miután edzett, a GPT-5 magában foglalja a folyamatos tanulás elemeit ** Az új, megbízható információk rendszeres frissítései és az ismert hibák aktív korrekciója, amelyet a felhasználók és az adatpartnerek jelöltek meg. Ez az online tanulási hurok azt jelenti, hogy a problematikus minták nem maradnak olyan hosszú ideig, és hallucinációkat készítenek az újabb témákban (az edzés utáni események, új technológiák) sokkal ritkábban.

Robusztus értékelési protokollok

kibővített és stressz-tesztelt tényességi referenciaértékek

Az Openai szélesebb, mélyebb értékelési készletekbe fektetett be a GPT-5-hez, hangsúlyozva azt a kihívásokkal teli, árnyalt és nyitott végű utasításokkal a tényleges területen:
- Longfact, FactScore és HealthBench nemcsak a rövid tényezőt, hanem a kiterjesztett érvelést és a kontextus karbantartását.
- Egyszerű QA ** Â A modell tesztelése mind a webhez kapcsolódó, mind az offline módban, feltárva a gyengeségeket az izolált edzés során.
- A valós világbetegség tükrözi a termelési chatgpt forgalmat, nem csak az akadémiai tesztkérdéseket.

Ezek a változatos tesztek lehetővé teszik az Openai számára, hogy pontossítsák az éleket, ahol a GPT-4 hajlamos lenne a spekulációra vagy a túlzott generalizációra, és erőszakkal átképztetni vagy beállítani a GPT-5-et, hogy felülbírálja ezeket a tendenciákat.

A telepítés utáni megfigyelés és javítás

A termelési telemetria és a felhasználói visszajelzések köszönhetően az Openai röviddel a modell telepítése után képes felismerni és kezelni a hallucinációs eseményeket. Ez a gyors iteráció bezárja a visszacsatolási hurkot a felhasználói élmény és a modell megbízhatóság között, korrekciókat alkalmazva a félrevezetésekre vagy a tartós hibákra példátlan sebességgel.

Biztonság, bizonytalanság és elutasító mechanizmusok

episztemikus bizonytalanság kalibrálás

A GPT-5 kiváló megbízhatóságának egyik fémjele a bizonytalanság kifejezésére és saját igényeinek minősítésére. Ahelyett, hogy magabiztos, de nem támogatott válaszokat generálna (hallucinációk), a GPT-5 kiképzett és beállítva:
- Bevallja meg, ha nincs hozzáférése az aktuális, ellenőrizhető ismeretekhez.
- Ösztönözze a felhasználókat, hogy konzultáljanak az elsődleges vagy hiteles forrásokkal.
- Azonosítsa és kiemelje a kétértelmű, ellentmondásos vagy vitatott igényeket.

Ez az ön kalibráció gyenge pont volt a korábbi modellekben. A kifejezett bizonytalanság modellezésével mind az építészeti, mind a képzési célokba történő modellezéssel a GPT-5 felülmúlja az elődeket, őszintén a saját korlátozásaival kapcsolatban.

Automatizált tények ellenőrzése

A GPT-5 tartalmaz egy belső tény-ellenőrző réteget, ahol a modell által generált kimeneteket valószínűsíthetően jelölik meg az ismert adatbázisok ellenőrzésére, vagy ha rendelkezésre állnak, valós idejű webes forrásokkal. Ha a tényeket nem lehet megerősíteni, akkor a kimeneteket elnyomják, figyelmeztetésekkel átírják, vagy felszólítják a felhasználót a külső erőforrások ellenőrzésére. Ez az automatizált mechanizmus élesen korlátozza annak valószínűségét, hogy egy hallucinált állítás áthaladjon a végső kimenetre.

Biztonsági tudatos kimeneti szűrés

Ahol a GPT-4 és a korábbi modellek időnként valószínű, de kockázatos információkat (például egészségügyi vagy jogi lekérdezéseket) adtak vissza, a GPT-5 fejlett szűrést hajt végre a magas kockázatú témákhoz. A továbbfejlesztett biztonsági rétegek keresztellenőrzése nagy hatású válaszok, elnyomja a valószínű hallucinációkat és megtagadja a spekulatív tartalmat, ha a felhasználói tét magas. Ez a GPT-5 biztonságosabbá teszi nemcsak az általános csevegések, hanem a komoly szakmai használat érdekében.

Gyakorlati bizonyítékok a domainek között

Gyógyszer és egészség

Az orvosi lekérdezések hagyományosan kihívást jelentenek az LLM -ek számára a pontosság szükségessége miatt. A GPT-5 pontszámok legalább 80% -kal alacsonyabb hallucinációs arányokat mutatnak az HealthBench-en, gyakran felülmúlva nemcsak a GPT-4-et, hanem szinte minden versenyképes modellt, amely jelenleg elérhető. A független értékelők megjegyzik, hogy a GPT-5 egy aktív gondolkodási partner, proaktívan jelöli a lehetséges aggodalmakat, és hasznosabb válaszokat ad a GPT-4 időnként spekulatív összefoglalókkal szemben.

kódolás és műszaki feladatok

A GPT-5 drasztikusan csökkenti a hallucinációt a programozásban, kevesebb gyártott API-t, nem létező funkciókat és logikátlan kódrészleteket generál. A korai modellek hírhedtek voltak a valószínűsíthető, mégis nem működőképes kód miatt; A GPT-5, a mélyebb képzés és a tények ellenőrzésének kiaknázása, pontosabb, kontextus-tudatában lévő kódot hoz létre, és valószínűbb, hogy a válaszadás előtt egyértelmű követelményeket jelöl.

Általános ismeretek és hírek

Amikor a közelmúltbeli eseményekre vagy az árnyalt ténybeli témákra ösztönzik, a GPT-5 kereszthivatkozása több forrás, idézi az információkat, és gyakrabban azonosítja az inkonzisztenciákat vagy az elavult tartalmat. Nevezetesen, akkor valószínűbb, hogy azt mondom, hogy nem tudom, vagy javasolom további kutatásokat a szélső esetekben, ahelyett, hogy gyártást végeznék.

Korlátozások: Nem teljesen hallucináció-mentes

Mindezek ellenére a GPT-5 nem immunis a hallucinációkkal szemben. Néhány független referenciaérték és a felhasználói anekdoták kiemelik a perzisztens, bár ritkábbak, az Edge forgatókönyvek hibái, az összetett érvelési láncok vagy a megbízható képzési adatok nélkül. A webes csatlakozás nélküli hozzáférés nélküli felhasználók vagy olyan területeken, ahol az igazság nagyon kétértelmű, a helytelen kimenetek továbbra is előfordulnak, bár jelentősen ritkábban, mint a GPT-4-ben.

Összegzés: A hallucináció csökkentésének alapvető mozgatórugói

Összegezve, a GPT-5 hallucinációjának a GPT-4 feletti jelentős csökkenéséért felelős kulcsfontosságú tényezők:

-Egységes, szakértő-vezérelt architektúra: Dinamikusan a kérdések a legmegfelelőbb alrendszerekre irányítják a tények keresztellenőrzését és összesítését.
- Strukturált „gondolkodás” mód: A lassú, bizonyítékokon alapuló érvelés prioritása a gyors generációhoz képest.
- Bővített modellkontextus: Minimalizálja a csonkítás által okozott sodródást és a kulcsfontosságú részletek elvesztését.
- Szigorúbb adatok kurátora és RLHF: Szorosan kiszűri a megbízhatatlan információkat, és keményen bünteti a hallucinált vagy túlbizonyos válaszokat az edzés során.
-Súlyos benchmarking és visszacsatolás hurkok: Folyamatosan stressz-teszteli a tényességet és gyorsan kijavítja az észlelt problémákat az indítás után
- Automatizált ellenőrzés és bizonytalanság kalibrálása: A belső tények ellenőrzői, a nyilatkozatok és az elutasítások biztonságosabbá és becsületesebbé teszik a modellt.