Pentru GPT-4.5, OpenAI a dezvoltat tehnici de aliniere noi, scalabile, care permit formarea unor modele mai mari și mai puternice, folosind date derivate din modele mai mici. Aceste tehnici sunt concepute pentru a îmbunătăți capacitatea modelului de a înțelege nevoile și intenția umană, îmbunătățindu -i capacitățile de atenție, nuanță și conversație naturală.
Tehnici de aliniere cheie
1. Alinierea scalabilă: Această abordare implică utilizarea modelelor mai mici pentru a genera date de instruire de înaltă calitate pentru modele mai mari. Această metodă accelerează procesul de instruire și îmbunătățește capacitatea modelului de a urma instrucțiunile nuanțate. Cu toate acestea, introduce și riscul de amplificare a prejudecăților sau erorilor prezente în modelele mai mici [4] [5].
2. Combinație de metode tradiționale: GPT-4.5 a fost instruit folosind o combinație de noi tehnici de supraveghere, împreună cu metode tradiționale, cum ar fi reglarea fină supravegheată (SFT) și învățarea de consolidare din feedback-ul uman (RLHF). SFT implică învățarea din exemple marcate de oameni, care este eficientă, dar poate fi lent și costisitor. RLHF ocupă rezultatele bazate pe preferințele umane, care pot duce uneori la supra -schimb, făcând AI -ul excesiv de prudent sau mai puțin creativ [4] [5] [7].
3. Înțelegerea îmbunătățită a nevoilor umane: noile tehnici de aliniere se concentrează pe predarea modelului o mai bună înțelegere a nevoilor și intenției umane. Acest lucru este crucial, deoarece modelele rezolvă probleme mai complexe și interacționează cu utilizatorii în moduri mai nuanțate [1] [3] [5].
Impactul noilor tehnici
Noile tehnici de aliniere în GPT-4.5 au dus la mai multe îmbunătățiri:
- Interacțiune naturală: testerii interni raportează că GPT-4.5 se simte mai natural și intuitiv, în special în gestionarea întrebărilor încărcate emoțional. Poate oferi sfaturi, frustrare difuză sau pur și simplu ascultați utilizatorul, după cum este necesar [1] [3].
- Intuiție și creativitate estetică: modelul arată o intuiție și creativitate estetică mai puternică, ceea ce îl face deosebit de util pentru sarcini precum scrierea creativă și designul [1] [3].
- Halucinații reduse: GPT-4.5 prezintă mai puține halucinații din cauza progreselor în învățarea nesupravegheată, ceea ce îmbunătățește precizia modelului său mondial și gândirea asociativă [5] [6].
În general, aceste tehnici își propun să facă GPT-4.5 mai receptivă, mai eficientă și aliniată la intenția utilizatorului, abordând în același timp unele dintre provocările asociate cu scalarea modelelor de limbaj mare.
Citări:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-relăase-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-relăase-gpt-4-5
]
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-lo/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-AI-Model-Release
[8] https://pmc.ncbi.nlm.nih.gov/articles/PMC11184879/