Untuk GPT-4.5, OpenAI mengembangkan teknik penyelarasan baru yang dapat diskalakan yang memungkinkan pelatihan model yang lebih besar dan lebih kuat menggunakan data yang berasal dari model yang lebih kecil. Teknik -teknik ini dirancang untuk meningkatkan kemampuan model untuk memahami kebutuhan dan niat manusia, meningkatkan kemudahan, nuansa, dan kemampuan percakapan alami.
Teknik Penyelarasan Utama
1. SCalable Alignment: Pendekatan ini melibatkan penggunaan model yang lebih kecil untuk menghasilkan data pelatihan berkualitas tinggi untuk model yang lebih besar. Metode ini mempercepat proses pelatihan dan meningkatkan kemampuan model untuk mengikuti instruksi yang bernuansa. Namun, ini juga memperkenalkan risiko bias atau kesalahan yang ada dalam model yang lebih kecil [4] [5].
2. Kombinasi metode tradisional: GPT-4.5 dilatih menggunakan kombinasi teknik pengawasan baru bersama dengan metode tradisional seperti fine-tuning (SFT) yang diawasi dan pembelajaran penguatan dari umpan balik manusia (RLHF). SFT melibatkan pembelajaran dari contoh berlabel manusia, yang efektif tetapi bisa lambat dan mahal. RLHF menempati peringkat output berdasarkan preferensi manusia, yang kadang -kadang dapat menyebabkan overfitting, membuat AI terlalu berhati -hati atau kurang kreatif [4] [5] [7].
3. Peningkatan pemahaman tentang kebutuhan manusia: Teknik penyelarasan baru fokus pada mengajar model pemahaman yang lebih besar tentang kebutuhan dan niat manusia. Ini sangat penting karena model memecahkan masalah yang lebih kompleks dan berinteraksi dengan pengguna dengan cara yang lebih bernuansa [1] [3] [5].
Dampak teknik baru
Teknik Alignment baru di GPT-4.5 telah menghasilkan beberapa perbaikan:
- Interaksi alami: Penguji internal melaporkan bahwa GPT-4.5 terasa lebih alami dan intuitif, terutama dalam menangani pertanyaan yang bermuatan emosional. Ini dapat menawarkan saran, frustrasi yang menyebar, atau hanya mendengarkan pengguna sesuai kebutuhan [1] [3].
- Intuisi dan kreativitas estetika: Model ini menunjukkan intuisi dan kreativitas estetika yang lebih kuat, membuatnya sangat berguna untuk tugas -tugas seperti penulisan dan desain kreatif [1] [3].
- Mengurangi halusinasi: GPT-4.5 menunjukkan lebih sedikit halusinasi karena kemajuan dalam pembelajaran tanpa pengawasan, yang meningkatkan akurasi model dunianya dan pemikiran asosiatif [5] [6].
Secara keseluruhan, teknik-teknik ini bertujuan untuk membuat GPT-4.5 lebih responsif, efisien, dan selaras dengan niat pengguna, sementara juga mengatasi beberapa tantangan yang terkait dengan penskalaan model bahasa besar.
Kutipan:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-catgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoeee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-heere-heres-how-good-this-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6] https://www.zdnet.com/article/openai-finally-uveils-gpt-4-5-heres-what-it-can-do
[7] https://www.theverge.com/news/620021/openai-gpt-4-5-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/