تستخدم شبكات الخصومة (GANS) العديد من وظائف الخسارة خارج خسارة GAN القياسية الأصلية ، كل منها مصمم لمواجهة التحديات مثل عدم الاستقرار في التدريب ، وانهيار الوضع ، وتلاشي التدرجات ، وقضايا التقارب. فيما يلي أمثلة رئيسية على وظائف فقدان GAN المتنوعة والبحث على نطاق واسع ، وتستخدم عمليا:
فقدان GAN القياسي (خسارة دقيقة)
خسارة GAN الأصلية من ورقة Seminal 2014 بواسطة Goodfellow et al. يصوغ لعبة الحد الأدنى لاعبتين بين المولد والتمييز. يحاول التمييز تصنيف البيانات الحقيقية والمزيفة بشكل صحيح من خلال زيادة احتمالية تعيين الملصقات الصحيحة ، بينما يحاول المولد خداع التمييز من خلال تقليل احتمال تحديد التمييز بشكل صحيح. يمكن كتابة هذا على النحو التالي:
- خسارة التمييز: تعظيم $$ \ log d (x) + \ log (1 - d (g (z))) $$
- خسارة المولد: الحد الأدنى $$ \ log (1 - d (g (z))) $$
ومع ذلك ، فإن هذه الخسارة تعاني غالبًا من تشبع المولد ، حيث يتلقى المولد تدرجات التلاشي ويتوقف عن التحسن أثناء التدريب.
خسارة غان غير المشبعة
البديل الشائع الذي يحسن استقرار التدريب يقوم بتعديل هدف المولد لزيادة $$ \ log d (g (z)) $$ بدلاً من تقليل $$ \ log (1 - d (g (z))) $$. يتجنب هذا البديل تشبع المولد من خلال توفير تدرجات أقوى في وقت مبكر من التدريب. إنه يعيد صياغة المولد على أنه تعظيم احتمال التمييز في وضع العلامات على عينات تم إنشاؤها على أنها حقيقية.
Wasserstein خسارة Gan
تحل خسارة Wasserstein ، التي تم تقديمها في عام 2017 ، محل تمييز التصنيف الثنائي القياسي بـ "ناقد" يسجل عينات على مقياس مستمر بدلاً من تصنيفها على أنها حقيقية أو مزيفة. تعتمد الخسارة على مسافة محرك الأرض (Wasserstein-1) بين التوزيعات الحقيقية والمتولدة ، والتي توفر تدرجات أكثر سلاسة ويخفف من انهيار الوضع وتلاشي التدرجات. يتم تغيير طبقة إخراج التمييز من تنشيط السيني إلى الخطي ، ويتم تقديم قطع الوزن أو عقوبة التدرج لفرض استمرارية Lipschitz:
- خسارة الناقد: تعظيم $$ \ mathbb {e} _ {x \ sim p_ {data>
- خسارة المولد: الحد الأدنى $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
أصبحت وظيفة الخسارة هذه معيارًا لتدريب GAN أكثر استقرارًا.
المربعات الصغرى خسارة الجان
المقترح في عام 2016 ، تحل هذه الخسارة محل الخسارة المتقاطعة الثنائية مع خسارة المربعات الصغرى لمعاقبة العينات التي تقع بعيدًا عن حدود القرار بشكل أكبر. يحاول التمييز تراجع عينات حقيقية إلى 1 وعينات مزيفة إلى 0 باستخدام الخطأ التربيعي المتوسط ، في حين يحاول المولد إنشاء عينات تقترب تنبؤاتها من 1. وهذا يقلل من التدرجات التلاشي ويحسن جودة التدرج ، ومساعدة المولد على التعلم بشكل أفضل:
- خسارة التمييز: إلى أدنى حد من $$ (d (x) - 1)^2 + (d (g (z)))
- خسارة المولد: إلى أدنى حد
غالبًا ما يعطي هذا النهج صورًا عالية الجودة وتدريب أكثر استقرارًا.
فقدان المفصل
فقدان المفصلات هو متغير خسارة عدواني آخر يعامل تدريب التمييز كمشكلة تصنيف قائمة على الهامش بدلاً من أن تكون محتملة. يتم تدريب التمييز على زيادة فقدان المفصلات إلى الحد الأقصى ، ودفع عينات حقيقية أعلى من الهامش والعينات المزيفة التي تحتها ، في حين يحاول المولد زيادة درجات التمييز للعينات التي تم إنشاؤها. رسميا:
- خسارة التمييز: $$ \ max (0 ، 1 - d (x)) + \ max (0 ، 1 + d (g (z))) $$
- خسارة المولد: $$- D (g (z)) $$
تم استخدام فقدان المفصلات في بنية GAN عالية الجودة الشهيرة مثل Biggan لتعزيز تدفق التدرج والاستقرار بشكل أفضل.
عقوبة التدرج Wasserstein (Wgan-GP)
تحسن في wasserstein gan الذي يحل محل لقطات الوزن بعقوبة التدرج لفرض قيد Lipschitz بشكل أكثر فعالية. تضيف عقوبة التدرج مصطلحًا تنظيمًا يعاقب على قاعدة التدرج التمييزي الذي ينحرف عن 1 على عينات محرف بين حقيقي ومزيف. هذا يعزز التقارب الاستقرار والتدريب.
- خسارة مثل wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ |
هنا $$ \ HAT {x} $$ هي عينات محفوظة بين البيانات الحقيقية والإنشاء.
خسارة غان النسبية
تقارن هذه الخسارة مخرجات التمييز على عينات حقيقية ومزيفة بطريقة نسبية بدلاً من الاحتمالات المطلقة. يتنبأ التمييز بما إذا كانت البيانات الحقيقية أكثر واقعية من البيانات المزيفة ، ويتدرب المولد وفقًا لذلك ، مما قد يؤدي إلى تدرجات أفضل وانهيار أقل.
- يحاول التمييز تعظيم $$ \ log \ sigma (d (x) - d (g (z))) $$ حيث $$ \ sigma $$ هو sigmoid
- يحاول المولد زيادة $$ \ log \ sigma (d (g (z)) - d (x)) $$
هذا المنظور النسبي يدفع المولد والتمييز إلى تقييم العينات ضد بعضها البعض بشكل مباشر.
فقدان الجاني
تم تطويره مؤخرًا من خلال نهج البرمجة الوراثية لتصميم الخسارة الأمثل ، ويظهر خسارة Ganetic أداءً فائقين واستقرار عبر مجموعات بيانات متنوعة بما في ذلك الصور الطبية. يدمج الخسارة الجنية عناصر من الإدانة الثنائية مع التنظيم الذاتي ، وتحسين استنساخ التدريب وتقليل وضع وضع. تم تطبيقه بشكل فعال لتوليد الصور والكشف الشاذ في التصوير الطبي ، يتفوق على وظائف الخسارة التقليدية في الاستقرار والجودة. يمكن تكييف الخسارة لكل من أنظمة تدريب المولدات والمياهي لتحسين النتائج.
خسارة التوازن الحدودي GAN (بدأ)
هذه الخسارة توازن بين المولد والتمييز من خلال مصطلح التوازن الذي يقيس نسبة خسائر إعادة الإعمار في تمييز تلقائي تلقائي. يستخدم البدء وظيفة الخسارة بناءً على خطأ إعادة الإعمار في التمييز ، مما يعزز توليد صور الجودة من خلال عملية البحث عن توازن بين المولد وقوة التمييز.
- فقدان التمييز استنادًا إلى خطأ إعادة بناء Autoencoder للعينات الحقيقية والمزيفة
- يحاول المولد تقليل خطأ إعادة بناء التمييز للعينات المزيفة
بدأ يحسن استقرار التدريب مع معلمة المقايضة الخاضعة للرقابة.
خسارة دراغان
تباين يهدف إلى تحسين GAN الأصلي عن طريق تعديل عقوبة التدرج المراد تطبيقه فقط حول مشعب البيانات ، يسمى Dragan (تنظيم التمييز مع عقوبة التدرج). يعاقب على تدرجات التمييز حول البيانات الحقيقية المضطربة مع الضوضاء لتشجيع حدود القرار الأكثر سلاسة وتقليل انهيار الوضع.
- فقدان مماثل لـ Wgan-GP ولكن مع عقوبة التدرج المحلي حول نقاط البيانات الحقيقية المضطربة.
ميزة مطابقة الخسارة
بدلاً من استخدام إخراج التمييز مباشرة للخسارة ، يتم تدريب المولد على مطابقة الميزات الوسيطة المستخرجة من عينات حقيقية وإنشاء بواسطة التمييز. هذا يؤدي إلى مزيد من التدريب المستقر ويقلل من انهيار الوضع من خلال تشجيع المولد على التقاط إحصائيات المرتبة العليا.
- فقدان المولد: الحد الأدنى $$ \ | \ text {features} (x) - \ text {features} (g (z)) \ | $$ حيث يتم استخراج الميزات في طبقة من التمييز.
وضع البحث عن الخسارة
تشجع هذه الخسارة على التنوع في المخرجات التي تم إنشاؤها عن طريق معاقبة الوضع بشكل صريح. إنه يقارن المسافات في المساحة الكامنة ومساحة الصورة بين أزواج من العينات التي تم إنشاؤها ، مما يعزز المولد لإنتاج عينات أكثر تنوعًا.
- يتضمن فقدان المولد مصطلحًا تعظيم المسافة في مساحة الإخراج بالنسبة للمسافة في المساحة الكامنة بين أزواج العينة.
ميزة المطابقة والخسائر الإدراكية
تجمع هذه الخسائر بين فقدان الخصومة والخسائر الإدراكية الإدراكية أو الميزات الإضافية المحسوبة باستخدام شبكات PretRained (على سبيل المثال ، VGG Networks). إن هذه الخسائر تنفذ أن الصور التي ولدت الصور لا تخدع التمييز فحسب ، بل تتطابق أيضًا مع ميزات الإدراك الحسي للصور الحقيقية ، مما يؤدي إلى مخرجات أكثر واقعية وأكثر واقعية.
- يقلل المولد من مجموع الخسارة العدائية وشروط خسارة المتصورة/الميزات.
أقل انحرافات مطلقة (L1) وخسائر المربعات الصغرى (L2) في Gans الشرطية
في Gans المشروطة المستخدمة لمهام ترجمة الصور ، يتم دمج خسائر L1 أو L2 الإضافية بين صور الحقيقة التي تم إنشاؤها والأساس إلى جانب الخسائر العدائية. تشجع هذه الخسائر الدقة على مستوى البكسل وتقليل القطع الأثرية في المخرجات.
- خسارة المولد = خسارة الخصومة + $$ \ lambda \ | G (z) - x \ | _1 $$ أو $$ \ lambda \ | G (z) - x \ | _2^2 $$ حيث $$ x $$ هو صورة الهدف.
متوسط خسارة GAN (راجان) النسبية
تمديد Ragan ، وهو امتداد لـ GAN النسبي ، يستخدم متوسط إخراج التمييز للصور الحقيقية والمزيفة لتحقيق الاستقرار في التدريب من خلال توفير مقارنة عالمية أكثر بدلاً من العينة. يساعد هذا النهج في تقليل الثقة المفرطة في تنبؤات التمييز ويحسن تدفق التدرج.
- تتضمن الخسارة فروق التمييز في الإخراج بين العينة ومتوسط الإخراج على الطبقات المعارضة.
إجمالي فقدان الاختلاف
غالبًا ما يتم دمجها مع فقدان الخصومة لتشجيع النعومة المكانية وتقليل الضوضاء ، ويعاقب إجمالي فقدان الاختلاف التغيرات السريعة في الصور التي تم إنشاؤها ، وتحسين الجودة البصرية.
- يقلل المولد من الإجمالي من المعيار التباين في الصور التي تم إنشاؤها إلى جانب فقدان الخصومة.
خسارة الجان على الاهتمام الذاتي
يشتمل على آليات الاهتمام الذاتي في بنية التمييز والمولدات ، وتعديل وظائف الخسارة لتعكس ميزات مرجحة لالتقاط تبعيات بعيدة المدى ، مما يساعد على توليد الصور التفصيلية والمتماسكة.
- لا تزال الخسائر كما في GANS القياسية ولكن مع شبكات المعززة على الاكتتاب الذاتي.
خسارة الحدود لتجزئة خانس
في تجزئة GANS ، قد تتضمن وظائف الخسارة عقوبات مدركة للحدود لتحسين الدقة بالقرب من حواف الكائنات ، مما يجمع بين فقدان العدواني وشروط الحدود/الحافة.
- يتضمن فقدان المولد أهداف مطابقة الحدود جنبا إلى جنب مع المكونات العدائية التقليدية.
خسارة متناقضة في Gans
تتضمن بعض المتغيرات GAN مكونات الخسارة المتناقضة التي تهدف إلى تعلم تضمينات أفضل للميزات من خلال جعل عينات مماثلة أقرب ودفع عينات متباينة عن بعضها البعض ، مما يعزز التعلم التمثيل داخل أطر GAN.
- فقدت الخسارة المتناقضة إلى أهداف المولد أو التمييز لتحسين جودة الميزة.
فقدان GAN القائم على الطاقة
تقوم GANs المستندة إلى الطاقة بصياغة التمييز كدالة للطاقة التي تقوم بتعيين طاقة منخفضة للبيانات الحقيقية والطاقة العالية للبيانات المزيفة. تعمل خسارة التدريب على تحسين مشهد الطاقة بدلاً من احتمالات التصنيف الصريحة ، والتي يمكن أن تؤدي إلى تدريب أكثر استقرارًا.
- تم تقليل طاقة التمييز إلى أدنى حد للعينات الحقيقية ، واكبرت للعينات المزيفة ؛ يعمل المولد على تحسين الطاقة على عينات تم إنشاؤها.
توضح هذه الأمثلة التنوع الغني لوظائف الخسارة التي تم تطويرها لتحسين استقرار تدريب Gans وأداءها ونتائجها الخاصة. تستهدف كل وظيفة خسارة تحديات أو خصائص محددة لتوزيعات البيانات ، حيث تجمع العديد من بنيات GAN الحديثة في كثير من الأحيان بين مصطلحات الخسارة المتعددة للحصول على أفضل النتائج. يعكس التطور المستمر لوظائف الخسارة هذه التقدم المستمر في أبحاث التعلم العدائي.