For GPT-4.5 udviklede Openai nye, skalerbare justeringsteknikker, der muliggør uddannelse af større og mere kraftfulde modeller ved hjælp af data, der stammer fra mindre modeller. Disse teknikker er designet til at forbedre modellens evne til at forstå menneskelige behov og intention og forbedre dens styrbarhed, nuance og naturlige samtalefunktioner.
Key Alignment Techniques
1. skalerbar justering: Denne tilgang involverer at bruge mindre modeller til at generere træningsdata af høj kvalitet til større modeller. Denne metode fremskynder træningsprocessen og forbedrer modellens evne til at følge nuancerede instruktioner. Imidlertid indfører det også risikoen for at forstærke forspændinger eller fejl, der er til stede i de mindre modeller [4] [5].
2. Kombination af traditionelle metoder: GPT-4.5 blev trænet ved hjælp af en kombination af nye tilsynsteknikker sammen med traditionelle metoder såsom overvåget finjustering (SFT) og forstærkningslæring fra menneskelig feedback (RLHF). SFT involverer at lære af menneskelige mærket eksempler, som er effektivt, men kan være langsomt og dyrt. RLHF rangerer output baseret på menneskelige præferencer, som undertiden kan føre til overfitting, hvilket gør AI overdrevent forsigtig eller mindre kreativ [4] [5] [7].
3. Forbedret forståelse af menneskelige behov: De nye tilpasningsteknikker fokuserer på at undervise modellen en større forståelse af menneskelige behov og intention. Dette er afgørende, da modellerne løser mere komplekse problemer og interagerer med brugere på flere nuancerede måder [1] [3] [5].
Effekt af nye teknikker
De nye justeringsteknikker i GPT-4.5 har resulteret i flere forbedringer:
- Naturlig interaktion: Interne testere rapporterer, at GPT-4.5 føles mere naturlig og intuitiv, især ved håndtering af følelsesladede forespørgsler. Det kan tilbyde rådgivning, diffus frustration eller blot lytte til brugeren efter behov [1] [3].
- æstetisk intuition og kreativitet: Modellen viser stærkere æstetisk intuition og kreativitet, hvilket gør det særligt nyttigt til opgaver som kreativ skrivning og design [1] [3].
- Nedsatte hallucinationer: GPT-4.5 udviser færre hallucinationer på grund af fremskridt inden for ikke-overvåget læring, hvilket forbedrer sin verdensmodelnøjagtighed og associativ tænkning [5] [6].
Generelt sigter disse teknikker på at gøre GPT-4.5 mere lydhøre, effektive og tilpasset brugerens intention, samtidig med at de adresserer nogle af de udfordringer, der er forbundet med skalering af store sprogmodeller.
Citater:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-relseases-trpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
)
[7] https://www.theverge.com/news/620021/openai-trpt-4-5-orion-i-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/