GPT-4.5 on mõeldud vastuoluliste juhiste käitlemiseks juhiste hierarhia kaudu, mis esitleb süsteemisõnumeid kasutajasõnumite kaudu, et leevendada riske nagu kiire süst ja muud rünnakud, mis ületavad ohutusjuhised [1]. See, kas GPT-4.5 suudab kohaneda uut tüüpi vastuoluliste juhistega, on keeruline küsimus.
koolitus ja hindamine
GPT-4.5 on koolitatud uute järelevalvetehnikate abil koos traditsiooniliste meetoditega, näiteks juhendatud peenhäälestamise (SFT) ja tugevdamise õppimisega inimese tagasisidest (RLHF) [1]. Nende meetodite eesmärk on parandada mudeli joondamist kasutaja kavatsusega ja selle võimet juhiseid täpsemalt järgida. Mudelit on hinnatud erinevatel stsenaariumidel, kus süsteemi- ja kasutajateated on konfliktid, näidates parandusi varasemate mudelitega nagu GPT-4O [1].
Uute vastuoluliste juhiste kohanemisvõime
Kuigi GPT-4.5 näitab paremat jõudlust teadaolevate vastuoluliste juhiste tüüpide käitlemisel, sõltub selle võime kohaneda täiesti uut tüüpi konfliktidega mitmest tegurist: mitmest tegurist:
1. Üldistamisvõimalused: GPT-4.5 koolitus hõlmab järelevalveta õppimise skaleerimist, mis suurendab selle võimet üldistada ja mõista laiemat konteksti [1]. See võib aidata sellel ära tunda mustrid uute vastuoluliste juhiste osas.
2. Juhendihierarhia: mudeli juhiste hierarhia on loodud süsteemisõnumite tähtsustamiseks, mis aitab säilitada ohutust ja järgimist eelnevalt määratletud reeglitest. Kui uued vastuolulised juhised jäävad selle hierarhia ulatusest väljapoole, võib mudel vaeva näha ilma täiendava koolituse või peenhäälestamiseta.
3. Kiire inseneri- ja tellingutega: kasutajad saavad kasutada täiustatud viigimistehnikaid või tellinguid, et suunata mudel uute juhiste mõistmise ja järgimise suunas. See lähenemisviis aitab esile kutsuda käitumist kaugemale sellest, mida mudel selgesõnaliselt koolitati [1].
4. Piirangud ja ohutuse hindamine: vaatamata parandustele seisab GPT-4,5 silmitsi keerukate või uudsete stsenaariumide lahendamisel. Ohutuse hindamine on näidanud, et kuigi mudel toimib teadaolevate ülesannete täitmisel hästi, on alati oht, et see ei järgi juhiseid ettenägematutes kontekstides [1].
Järeldus
Kuigi GPT-4.5 on eelkäijatest rohkem vastuoluliste juhiste käsitlemisel võimekam, piirab selle kohanemisvõime täiesti uut tüüpi konfliktidega koolitusandmed ja kujundus. Uute stsenaariumide tõhusaks käsitlemiseks võib see nõuda täiendavaid peenhäälestamise või loominguliste viigimisstrateegiaid. Pidev uurimistöö ja kasutaja suhtlus GPT-4.5-ga annavad rohkem teavet selle võimaluste ja piirangute kohta selles valdkonnas.
Tsitaadid:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
]
[3] https://latenode.com/blog/chatgpt-4-5-review
[4] https://arxiv.org/pdf/2203.02155.pdf
]
]
]
]