W przypadku GPT-4.5 OpenAI opracował nowe, skalowalne techniki wyrównania, które umożliwiają szkolenie większych i mocniejszych modeli z wykorzystaniem danych pochodzących z mniejszych modeli. Techniki te mają na celu poprawę zdolności modelu do zrozumienia ludzkich potrzeb i intencji, zwiększania jego możliwości kierowania, niuansu i naturalnych konwersacji.
Kluczowe techniki wyrównania
1. Skalowalne wyrównanie: To podejście obejmuje stosowanie mniejszych modeli do generowania wysokiej jakości danych treningowych dla większych modeli. Ta metoda przyspiesza proces szkolenia i poprawia zdolność modelu do przestrzegania dopracowanych instrukcji. Jednak wprowadza również ryzyko wzmocnienia uprzedzeń lub błędów obecnych w mniejszych modelach [4] [5].
2. Połączenie tradycyjnych metod: GPT-4.5 został przeszkolony przy użyciu kombinacji nowych technik nadzoru wraz z tradycyjnymi metodami, takimi jak nadzorowane dostrojenie (SFT) i uczenie się wzmocnienia na podstawie ludzkich informacji zwrotnych (RLHF). SFT polega na uczeniu się na przykładach znakowanych przez człowieka, co jest skuteczne, ale może być powolne i drogie. RLHF plasuje wyniki na podstawie ludzkich preferencji, co czasami może prowadzić do nadmiernego dopasowania, czyniąc AI zbyt ostrożną lub mniej kreatywną [4] [5] [7].
3. Zwiększone zrozumienie ludzkich potrzeb: nowe techniki wyrównania koncentrują się na nauczaniu modelu lepszego zrozumienia ludzkich potrzeb i zamiarów. Ma to kluczowe znaczenie, ponieważ modele rozwiązują bardziej złożone problemy i wchodzą w interakcje z użytkownikami w bardziej dopracowany sposób [1] [3] [5].
Wpływ nowych technik
Nowe techniki wyrównania w GPT-4.5 spowodowały kilka ulepszeń:
- Naturalna interakcja: Wewnętrzne testery informują, że GPT-4.5 wydaje się bardziej naturalny i intuicyjny, szczególnie w radzeniu sobie z zapytaczami emocjonalnie. Może oferować porady, rozproszoną frustrację lub po prostu słuchać użytkownika w razie potrzeby [1] [3].
- Intuicja estetyczna i kreatywność: model pokazuje silniejszą intuicję estetyczną i kreatywność, co czyni go szczególnie przydatnym w zadaniach takich jak kreatywne pisanie i projektowanie [1] [3].
- Zmniejszone halucynacje: GPT-4.5 wykazuje mniej halucynacji ze względu na postęp w uczeniu się bez nadzoru, co poprawia jego światową dokładność i myślenie asocjacyjne [5] [6].
Ogólnie rzecz biorąc, techniki te mają na celu uczynienie GPT-4.5 bardziej responsywnym, wydajnym i dostosowanym do intencji użytkownika, a jednocześnie odnosząc się do niektórych wyzwań związanych ze skalowaniem dużych modeli językowych.
Cytaty:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-reneases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.thheverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/