A GPT-4.5 esetében az OpenAI új, skálázható igazítási technikákat fejlesztett ki, amelyek lehetővé teszik a nagyobb és erősebb modellek képzését a kisebb modellekből származó adatok felhasználásával. Ezeket a technikákat úgy tervezték, hogy javítsák a modell azon képességét, hogy megértsék az emberi igényeket és a szándékot, javítva annak irányíthatóságát, árnyalatát és a természetes beszélgetés képességeit.
Key igazítási technikák
1. Méretezhető igazítás: Ez a megközelítés magában foglalja a kisebb modellek használatát, hogy kiváló minőségű képzési adatokhoz hozza létre a nagyobb modelleket. Ez a módszer felgyorsítja az edzési folyamatot, és javítja a modell képességét az árnyalt utasítások követésére. Ugyanakkor bevezeti a kisebb modellekben bekövetkezett torzítások vagy hibák erősítésének kockázatát is [4] [5].
2. A hagyományos módszerek kombinációja: A GPT-4.5-et új felügyeleti technikák kombinációjával, a hagyományos módszerekkel, például a felügyelt finomhangolással (SFT) és az emberi visszacsatolásból származó megerősítő tanulás (RLHF) kombinációjával együtt. Az SFT magában foglalja az emberi jelölt példákból való tanulást, amely hatékony, de lassú és drága lehet. Az RLHF az emberi preferenciák alapján rangsorolja a kimeneteket, amelyek néha túlteljesítést eredményezhetnek, így az AI túlságosan óvatos vagy kevésbé kreatív [4] [5] [7].
3. Az emberi igények fokozott megértése: Az új igazítási technikák a modell tanítására összpontosítanak az emberi igények és a szándék jobb megértésére. Ez elengedhetetlen, mivel a modellek bonyolultabb problémákat oldnak meg, és árnyaltabb módon kölcsönhatásba lépnek a felhasználókkal [1] [3] [5].
Az új technikák hatása
A GPT-4.5 új igazítási technikái számos fejlesztést eredményeztek:
- Természetes interakció: A belső tesztelők arról számolnak be, hogy a GPT-4.5 természetesebb és intuitívabbnak érzi magát, különösen az érzelmileg töltött kérdések kezelésében. Tanácsot, diffúz frusztrációt kínálhat, vagy egyszerűen hallgathatja a felhasználót [1] [3].
- Esztétikai intuíció és kreativitás: A modell erősebb esztétikai intuíciót és kreativitást mutat, ami különösen hasznossá teszi az olyan feladatokhoz, mint a kreatív írás és a tervezés [1] [3].
- Csökkent hallucinációk: A GPT-4.5 kevesebb hallucinációt mutat a felügyelet nélküli tanulás fejlődése miatt, ami javítja a világmodell pontosságát és az asszociatív gondolkodást [5] [6].
Összességében ezek a technikák célja, hogy a GPT-4,5-et reagálóbbá, hatékonyabbá tegyék, és igazodjanak a felhasználói szándékhoz, miközben foglalkoznak a nagy nyelvi modellek méretezésével kapcsolatos néhány kihívással.
Idézetek:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-here-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-utveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-reelease
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/