GPT-4.5 için Openai, daha küçük modellerden elde edilen verileri kullanarak daha büyük ve daha güçlü modellerin eğitimini sağlayan yeni, ölçeklenebilir hizalama teknikleri geliştirdi. Bu teknikler, modelin insan ihtiyaçlarını ve niyetini anlama, yönlendirilebilirliğini, nüansını ve doğal konuşma yeteneklerini artırma yeteneğini geliştirmek için tasarlanmıştır.
Anahtar Hizalama Teknikleri
1. Ölçeklenebilir Hizalama: Bu yaklaşım, daha büyük modeller için yüksek kaliteli eğitim verileri oluşturmak için daha küçük modellerin kullanılmasını içerir. Bu yöntem eğitim sürecini hızlandırır ve modelin nüanslı talimatları izleme yeteneğini geliştirir. Bununla birlikte, daha küçük modellerde mevcut önyargıları veya hataları yükseltme riskini de ortaya koymaktadır [4] [5].
2. Geleneksel yöntemlerin kombinasyonu: GPT-4.5, denetimli ince ayar (SFT) ve insan geri bildiriminden (RLHF) takviye öğrenimi gibi geleneksel yöntemlerle birlikte yeni denetim tekniklerinin bir kombinasyonu kullanılarak eğitildi. SFT, etkili olan ancak yavaş ve pahalı olabilen insan etiketli örneklerden öğrenmeyi içerir. RLHF, bazen aşırı uymaya yol açabilen, AI'yı aşırı temkinli veya daha az yaratıcı hale getirebilen insan tercihlerine dayalı çıktılar sıralıyor [4] [5] [7].
3. İnsan İhtiyaçlarının Geliştirilmiş Anlaması: Yeni Hizalama Teknikleri, modele insan ihtiyaçları ve niyetinin daha iyi anlaşılmasını öğretmeye odaklanır. Modeller daha karmaşık problemleri çözdüğü ve kullanıcılarla daha nüanslı şekillerde etkileşime girdikçe bu çok önemlidir [1] [3] [5].
Yeni tekniklerin etkisi
GPT-4.5'teki yeni hizalama teknikleri çeşitli iyileştirmelerle sonuçlandı:
- Doğal etkileşim: Dahili testçiler, GPT-4.5'in özellikle duygusal olarak yüklü sorguların ele alınmasında daha doğal ve sezgisel hissettiğini bildirmektedir. Tavsiye, yaygın hayal kırıklığı sunabilir veya sadece gerektiği gibi kullanıcıyı dinleyebilir [1] [3].
- Estetik Sezgi ve Yaratıcılık: Model, daha güçlü estetik sezgi ve yaratıcılık gösterir, bu da onu yaratıcı yazma ve tasarım gibi görevler için özellikle yararlı hale getirir [1] [3].
- Azaltılmış halüsinasyonlar: GPT-4.5, denetimsiz öğrenmedeki gelişmeler nedeniyle daha az halüsinasyon sergiler, bu da dünya model doğruluğunu ve ilişkisel düşüncesini geliştirir [5] [6].
Genel olarak, bu teknikler GPT-4.5'i daha duyarlı, verimli ve kullanıcı niyetiyle uyumlu hale getirmeyi ve aynı zamanda büyük dil modellerini ölçeklendirme ile ilgili bazı zorlukları ele almayı amaçlamaktadır.
Alıntılar:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-inreess-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-inates-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-here-how-good-this-model-
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-unveils-gpt-4-5-heres-what-it-can-do/
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-tion-ai-model-se-
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/