بالنسبة إلى GPT-4.5 ، طورت Openai تقنيات محاذاة جديدة قابلة للتطوير تمكن من تدريب نماذج أكبر وأكثر قوة باستخدام البيانات المستمدة من نماذج أصغر. تم تصميم هذه التقنيات لتحسين قدرة النموذج على فهم الاحتياجات البشرية والنية ، وتعزيز قابلية التوجيه ، والفروق ، وقدرات المحادثة الطبيعية.
تقنيات محاذاة المفاتيح
1. المحاذاة القابلة للتطوير: يتضمن هذا النهج استخدام نماذج أصغر لإنشاء بيانات تدريب عالية الجودة للنماذج الأكبر. هذه الطريقة تسرع عملية التدريب وتحسن قدرة النموذج على اتباع التعليمات الدقيقة. ومع ذلك ، فإنه يقدم أيضًا خطر تضخيم التحيزات أو الأخطاء الموجودة في النماذج الأصغر [4] [5].
2. مزيج من الطرق التقليدية: تم تدريب GPT-4.5 باستخدام مجموعة من تقنيات الإشراف الجديدة إلى جانب الأساليب التقليدية مثل الضبط الخاضع للإشراف (SFT) وتعلم التعزيز من التعليقات البشرية (RLHF). تتضمن SFT التعلم من أمثلة ذات علامات الإنسان ، والتي تكون فعالة ولكن يمكن أن تكون بطيئة ومكلفة. يصنف RLHF المخرجات بناءً على التفضيلات البشرية ، والتي يمكن أن تؤدي في بعض الأحيان إلى التورط ، مما يجعل الذكاء الاصطناعي حذرًا أو أقل إبداعًا [4] [5] [7].
3. فهم معزز للاحتياجات البشرية: تركز تقنيات المحاذاة الجديدة على تعليم النموذج فهمًا أكبر للاحتياجات البشرية والنية. هذا أمر بالغ الأهمية لأن النماذج تحل مشاكل أكثر تعقيدًا وتتفاعل مع المستخدمين بطرق أكثر دقة [1] [3] [5].
تأثير التقنيات الجديدة
أسفرت تقنيات المحاذاة الجديدة في GPT-4.5 عن العديد من التحسينات:
- التفاعل الطبيعي: أفاد المختبرين الداخليين أن GPT-4.5 يشعر أكثر طبيعية وبديهية ، خاصة في التعامل مع الاستعلامات المشحونة عاطفيا. يمكن أن تقدم المشورة ، أو انتشار الإحباط ، أو ببساطة الاستماع إلى المستخدم حسب الحاجة [1] [3].
- الحدس الجمالي والإبداع: يظهر النموذج حدس جمالي أقوى وإبداع ، مما يجعله مفيدًا بشكل خاص للمهام مثل الكتابة الإبداعية والتصميم [1] [3].
- انخفاض الهلوسة: يعرض GPT-4.5 أقل من الهلوسة بسبب التقدم في التعلم غير الخاضع للإشراف ، مما يحسن دقة النموذج العالمي والتفكير النقابي [5] [6].
بشكل عام ، تهدف هذه التقنيات إلى جعل GPT-4.5 أكثر استجابة وفعالية ، وتتوافق مع نية المستخدم ، مع مواجهة بعض التحديات المرتبطة بتوسيع نطاق نماذج اللغة الكبيرة.
الاستشهادات:
[1] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[2] https://arxiv.org/html/2502.11681v2
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[4] https://www.vellum.ai/blog/gpt-4-5-is-heres-how-mood-tis-model-is
[5] https://cdn.openai.com/gpt-4-5-system-card.pdf
[6]
[7] https://www.theverge.com/news/620021/openai-gpt-4-orion-ai-model-release
[8] https://pmc.ncbi.nlm.nih.gov/articles/PMC11184879/