Zmniejszenie wskaźników halucynacji GPT-5 przypisuje się zarówno metodologii kuracji danych szkoleniowych, jak i zaawansowanych metodologii szkoleniowych. Openai otwarcie poinformował, że odpowiedzi GPT-5 są do 45% mniej prawdopodobne, że zawierają błędy faktyczne w porównaniu z GPT-4O, a dzięki zaawansowanemu trybie „rozumowania” błędy faktyczne spadają o około 80% w stosunku do poprzedniego modelu O3. Tłumienie halucynacji w GPT-5 nie jest wynikiem pojedynczego zestawu danych, ale wyrafinowanego procesu montażu zestawu danych, filtrowania, ciągłego po treningu z ludzkim sprzężeniem zwrotnym i integracja zewnętrznych zasobów kontroli faktycznej.
Strategia jakości danych i kuracji
Pierwszym filarem Openai przeciwko halucynacjom w GPT-5 jest zastosowanie rozszerzonych, wysokiej jakości i wyselekcjonowanych zestawów danych. To oznacza:
- Dane źródłowe są bardziej prawdopodobne, że zostaną weryfikowane i renomowane.
- Podejmowane są wyraźne wysiłki w celu usunięcia lub zminimalizowania znanej niewiarygodnej, stronniczej lub złośliwej zawartości podczas cykli odświeżania danych.
-Dane kontrolowane przez użytkownika są filtrowane, anonimowe i anonimowe pod kątem faktów przed włączeniem do nadzorowanego dostrajania lub modelowania nagrody.
Aby jeszcze bardziej zmniejszyć ryzyko halucynacji, OpenAI wdrożył obszerne procesy czyszczenia danych w celu identyfikacji i wykluczenia hałaśliwej, sprzecznej lub syntetycznej zawartości, która mogłaby wywołać błędy w wynikach modelu.
po szkoleniu i wzmocnienie z ludzkich informacji zwrotnych (RLHF)
Informacje zwrotne od człowieka są centralne w architekturze GPT-5. Model przechodzi intensywne rundy uczenia się wzmocnienia na podstawie ludzkich informacji zwrotnych (RLHF), w których ocenia się ludzki:
- Sędzia wyniki dla faktycznej poprawności, koherencji i dostosowania do intencji użytkownika.
- Zapewnij preferencje parowe dotyczące generacji modeli, nagradzanie dokładności i informatyczności podczas karania halucynacji.
- Sygnały te stanowią podstawę modeli nagród, które dodatkowo optymalizują GPT-5, aby preferować poprawne ukończenia faktycznie.
Ponadto RLHF jest powiększany przez zautomatyzowane równiarki faktyczne potwierdzone przeciwko ludzkiemu osądowi w celu skalowania wykrywania halucynacji. Osobniki te służą zarówno jako ilościowy jardstick w ocenie, jak i jako element ciągłego treningu, umożliwiający pętle szybkiego sprzężenia zwrotnego na dużą skalę, wykraczając wyłącznie z adnotacji na ludziach.
oceny porównawcze i testowanie warunków skrajnych
Aby zmierzyć halucynacje, GPT-5 jest rygorystycznie przetestowany na stresie na nowych publicznych i wewnętrznych testach testowych faktyczności, takich jak Longfact (pojęcia i obiekty) i factScore (podpowiedzi poszukiwania faktów). Ramy oceny są skierowane do twardszych, otwartych podpowiedzi i długiej zawartości, obszarów, w których wcześniej kwitły halucynacje. Według Openai „Myślenie GPT-5” wytwarza około sześć razy mniej halucynacji niż O3 w tych zadaniach.
GPT-5 jest również oceniany w rzeczywistym ruchu produkcyjnym i wyspecjalizowanych zestawach testowych, w których jego zdolność do prawidłowego przyznawania luk w wiedzy i unikania wytwarzania jest bezpośrednio mierzona i ulepszana. Na przykład odmowa wymyślania nieistniejących aktywów w ustawieniach multimodalnych uległa znacznej poprawie w porównaniu z wcześniejszymi pokoleniami.
interwencje architektoniczne i szkoleniowe
Kilka głębszych interwencji podczas szkolenia docelowych:
-Rozumowanie łańcuchowe i ustrukturyzowane rozumowanie są wbudowane w fazy wstępne i dostrajanie, umożliwiając modelu wytwarzanie bardziej wytłumaczonych i uziemionych wyjściowych, a nie pewnych przypuszczeń.
-Paradygmat bezpiecznych ukończeń zastępuje starszy model bezpieczeństwa oparty na odmowie, szkolenie GPT-5 w celu zapewnienia pomocnych, ograniczonych reakcji lub przejrzystym przekazywaniu jego granic i rozumowania, gdy nie może bezpiecznie odpowiedzieć.
-Używanie narzędzi i pobieranie generacji (RAG): GPT-5 jest systematycznie szkolony w celu wykorzystania wyszukiwania stron internetowych i zewnętrznych narzędzi do sprawdzania faktów do zapytań, które wymagają aktualnej lub wysoce specyficznej wiedzy. Drastycznie zmniejsza to ryzyko halucynacji na niejasnych lub szybko ewoluujących podmiotach.
- Redukcja płukania: Rurociąg GPT-5 wyraźnie gromadzi dane zaprojektowane do uwięzienia modeli w błędach, oceniając odpowiedzi na pochlebcę i wykorzystanie tych wyników jako negatywnej nagrody podczas RLHF, bezpośrednio atakując „halucynację za pośrednictwem problemu.
Rzeczywiste wyniki i ograniczenia
Pomimo tych postępów GPT-5 nie jest w pełni odporny na halucynacje. Na przykład:
-Zgłoszona wskaźnik halucynacji dla złożonych, otwartych zadań (mierzona przez badania, takie jak prosta QA), pozostaje znacząca, szczególnie gdy system jest odcięty od narzędzi sprawdzania faktów na żywo.
- Dostęp do wyszukiwania sieci znacznie zmniejsza poziom błędów, ilustrując znaczenie treningu hybrydowego (łączące statyczne wyselekcjonowane dane z odzyskiwaniem) w moderowaniu halucynacji.
- Niektóre kreatywne lub abstrakcyjne podpowiedzi nadal kwestionują mechanizmy uziemienia systemu.
Ciągłe aktualizacje i opinie społeczności
System GPT-5 jest karmiony bieżącymi danymi społecznościowymi i rzeczywistymi, z mechanizmami sprzężenia zwrotnego, które pozwalają na szybkie łatanie odkrytych halucynacji i wdrażanie udoskonaleń zarówno w filtrowaniu danych, jak i projektowaniu funkcji nagrody. Openai otwarcie przyznaje potrzebę dalszej poprawy, szczególnie w domenach o wysokich stawkach, takich jak opieka zdrowotna i prawo, w których tolerancja błędów musi być minimalna.
Podsumowanie kluczowych kroków kuracyjnych
Aby zsyntetyzować, zmniejszenie halucynacji w GPT-5 wynika z następujących powiązanych procesów:
1. Skrupulatne wybór danych i filtrowanie danych przed treningiem, z naciskiem na pozyskiwanie z renomowanych baz danych i utrzymanie aktualnych treści faktycznych.
2. Wykluczenie hałaśliwej, zawodowej lub stronniczej treści podczas montażu danych, wzmocnionego zautomatyzowanym i ręcznym przeglądem na wielu etapach.
3. Uczenie się wzmocnienia i ciągłe informacje zwrotne w oparciu o dużą skalę ludzi i zautomatyzowane ocenianie faktyczności i prawdomówności.
4. Ocena pod kątem solidnych testów porównawczych faktyczności, zarówno statycznych, jak i rzeczywistych, mierząc dokładną szybkość i rodzaj halucynacji w różnych warunkach.
5. Interwencje po szkoleniu, w tym bezpieczniejsze strategie ukończenia, jawne tłumienie pochłania i silna integracja z odzyskiwaniem lub wiedzą opartą na narzędziach.
6. Iteracyjne strojenie na żywo z opinii produkcyjnej i czerwonej drużyny, zapewniając szybko wykrywanie i adresowanie nowych „wycieków halucynacji.