Генеративні змагальні мережі (GANS) використовують багато функцій втрат поза початковою стандартною втратою GAN, кожна з яких розроблена для вирішення таких проблем, як нестабільність навчання, обвал режиму, зникнення градієнтів та проблеми конвергенції. Нижче наведено ключові приклади різноманітних, широко досліджених та практично використовуваних функцій втрат GAN:
Стандартна втрата GAN (мінімальна втрата)
Оригінальна втрата GAN з семінарного документу 2014 року від Goodfellow et al. Сформулює гру з двома гравцями між генератором та дискримінатором. Дискримінатор намагається правильно класифікувати реальні та підроблені дані, максимізуючи ймовірність призначення правильних мітків, тоді як генератор намагається обдурити дискримінатор, мінімізуючи ймовірність того, що дискримінатор правильно ідентифікує підроблені дані. Це можна написати як:
- Втрата дискримінатора: максимізуйте $$ \ log D (x) + \ log (1 - d (g (z)) $$
- Втрата генератора: мінімізуйте $$ \ log (1 - D (g (z)) $$
Однак ця втрата часто страждає від насичення генератора, де генератор отримує зникаючі градієнти і перестає вдосконалюватися під час тренувань.
Нестрижать втрата GAN
Поширений варіант, який покращує стабільність тренувальної стабільності, налаштовує мету генератора, щоб максимізувати $$ \ log D (g (z)) $$, а не мінімізувати $$ \ log (1 - d (g (z))) $$. Ця альтернатива уникає насичення генератора, забезпечуючи більш сильні градієнти на початку тренувань. Він відновлює генератор як максимізацію ймовірності дискримінатора маркування, що генеровані зразки як реальні.
Wasserstein gan втрата
Втрата Вассерштейна, запроваджена в 2017 році, замінює стандартний бінарний дискримінатор класифікації "критиком", який забиває зразки в безперервному масштабі, а не класифікує їх як реальні чи фальшиві. Втрата ґрунтується на відстані Землі (Wasserstein-1) між реальними та генерованими розподілами, що забезпечує більш плавні градієнти та пом'якшує руйнування режиму та зникнення градієнтів. Вихідний шар дискримінатора змінюється з сигмоїдної активації до лінійного, а для застосування безперервності Ліпшица вводиться градієнтне покарання:
- Критична втрата: максимізуйте $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z)] $$ $
- втрата генератора: мінімізуйте $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z)] $$
Ця функція втрат стала стандартом для більш стабільних тренувань GAN.
Найменш квадрати Ган втрата
Запропонована в 2016 році, ця втрата замінює двійкову перехресну вхідну втрату з втратою найменших квадратів, щоб більш сильно покарати зразки, що знаходяться далеко від межі рішення. Дискримінатор намагається регресувати реальні зразки до 1 та підроблених зразків до 0, використовуючи середню помилку в квадраті, тоді як генератор намагається генерувати зразки, прогнози яких близькі до 1. Це зменшує градієнти зникнення та покращує якість градієнта, допомагаючи генератору краще вчитися:
- Втрата дискримінатора: мінімізуйте $$ (d (x) - 1)^2 + (d (g (z))^2 $$
- Втрата генератора: мінімізуйте $$ (D (g (z)) - 1)^2 $$
Цей підхід часто дає зображення більш високої якості та стабільнішу підготовку.
Втрата шарніра
Втрата шарніру-це ще один варіант змагань, який трактує навчання дискримінатора як проблему класифікації на основі маржі, а не ймовірнісною. Дискримінатор навчається максимізувати втрату шарніра, натискаючи на реальні зразки над полями та підробленими зразками під ним, тоді як генератор намагається максимально збільшити оцінки дискримінатора для генерованих зразків. Формально:
- Втрата дискримінатора: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z)) $$
- Втрата генератора: $$- D (G (Z)) $$
Втрата шарніру використовувалася в популярних високоякісних архітектурах GAN, таких як Biggan, для сприяння кращому градієнтному потоку та стабільності.
Штраф на градієнті Вассерштейна (WGAN-GP)
Поліпшення на Вассерштейн -Гана, яке замінює вагу відсікання градієнтним покаранням, щоб ефективніше застосувати обмеження Ліпшица. Градієнтне покарання додає термін регуляризації, який покарає норму градієнта дискримінатора, що відхиляється від 1 на інтерпольованих зразках між реальними та фальшивими. Це підвищує стабільність та конвергенцію тренувань.
- втрата така ж, як Wgan Plus $$ \ lambda \ mathbb {e} _ {\ hat {x>} [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$ градієнтного пеналітного терміну
Тут $$ \ hat {x} $$ - це зразки інтерполюються між реальними та генерованими даними.
Релятивістська втрата Гана
Ця втрата порівнює виходи дискримінатора на реальних та підроблених зразках релятивістським способом, а не абсолютними ймовірностями. Дискримінатор прогнозує, чи реальні дані є більш реалістичними, ніж фальшиві дані, і генератор готує відповідно, що може призвести до кращих градієнтів та меншого руйнування режиму.
- Дискримінатор намагається максимізувати $$ \ log \ sigma (d (x) - d (g (z)) $$, де $$ \ sigma $$ - сигмоїд
- Генератор намагається максимізувати $$ \ log \ sigma (d (g (z)) - d (x)) $$
Ця відносна перспектива підштовхує генератор та дискримінатор для більш безпосередньо оцінювати зразки один проти одного.
Ганетична втрата
Нещодавно розроблений за допомогою генетичного програмування підходу до оптимальної конструкції втрат, Ganetic Flos демонструє чудову продуктивність та стабільність у різних наборах даних, включаючи медичні зображення. Ганетична втрата інтегрує елементи бінарної перехресної ентеропії з саморегуляцією, покращуючи відтворюваність тренувань та зменшення руйнування режиму. Він ефективно застосовувався для генерації зображень та виявлення аномалії в медичній візуалізації, перевершує традиційні функції втрат у стабільності та якості. Втрата може бути адаптована як для генераторів, так і для режимів навчання дискримінатора для поліпшення результатів.
Прикордонна рівновага gan (почалася) втрата
Ця втрата врівноважує генератор та дискримінатор через рівноважний термін, який вимірює відношення втрат реконструкції у дискримінатора автокодера. Початок використовує функцію втрат на основі помилки реконструкції дискримінатора, сприяючи генеруванню якості через рівноважний процес пошуку між генератором та дискримінаторною потужністю.
- Втрата дискримінатора на основі помилки реконструкції автокодера для реальних та підроблених зразків
- Генератор намагається мінімізувати помилку реконструкції підроблених зразків дискримінатора
Почав покращити стабільність навчання за допомогою контрольованого параметра компромісу.
Втрата Драгана
Варіація, спрямована на вдосконалення оригінального GAN, змінивши градієнтне покарання, яке слід застосувати лише навколо колектора даних, що називається Драган (регуляризація дискримінатора з градієнтним покаранням). Він покарає градієнти дискримінатора навколо реальних даних, обурених шумом, щоб заохотити більш плавні межі рішення та зменшити обвал режиму.
- втрата, подібна до WGAN-GP, але з місцевим градієнтним покаранням навколо збурених реальних точок даних.
Втрата відповідності функцій
Замість того, щоб безпосередньо використовувати вихід дискримінатора для втрати, генератор навчається відповідати проміжним функціям, витягнутим з реальних та генерованих зразків дискримінатором. Це призводить до більш стабільної підготовки та зменшує колапс режиму, заохочуючи генератора захоплювати статистику вищого порядку.
- Втрата генератора: мінімізуйте $$ \ | \ text {функції} (x) - \ text {функції} (g (z)) \ | $$, де функції витягуються в якомусь шарі дискримінатора.
Режим, що шукає втрати
Ця втрата заохочує різноманітність у створених результатах шляхом чіткого колапсу режиму покарання. Він порівнює відстані в прихованому просторі та просторі зображення між парами генерованих зразків, сприяючи генератору для отримання більш різноманітних зразків.
- Втрата генератора включає термін максимізації відстані у вихідному просторі відносно відстані в прихованому просторі серед пар зразків.
Відповідність та перцептивні втрати
Ці втрати поєднують змагальні втрати з додатковими перцептивними або функційними втратами, обчисленими за допомогою попередніх мереж (наприклад, VGG Networks). Такі втрати виконують, що генерували зображення не лише обдурили дискримінатора, але й відповідають перцептивним особливостям реальних зображень, що призводять до більш чітких та реалістичних результатів.
- Генератор мінімізує зважену суму змагальних втрат та умов для відповідності перцептивних/функцій.
Найменш абсолютні відхилення (L1) та найменші квадрати (L2) втрати у умовних GANS
У умовних GANS, що використовуються для завдань перекладу зображення, додаткові втрати L1 або L2 між генерованими та основними зображеннями істини включаються поряд із змагальними втратами. Ці втрати заохочують точність рівня пікселів та зменшують артефакти у результатах.
- втрата генератора = супровідна втрата + $$ \ lambda \ | G (z) - x \ | _1 $$ або $$ \ lambda \ | G (z) - x \ | _2^2 $$, де $$ x $$ - це цільове зображення.
РЕЛИВІСТИВНІСТЬ Середня втрата Ган (Раган)
Розширення релятивістського GAN, Раган використовує середній вихід дискримінатора для реальних та підроблених зображень для стабілізації навчання, забезпечуючи більш глобальне порівняння, а не зразок. Цей підхід допомагає зменшити переконання в прогнозах дискримінатора та покращує потік градієнта.
- Втрата передбачає відмінності щодо виходу дискримінатора між вибіркою та середнім результатом на протилежних класах.
Загальна втрата варіацій
Часто в поєднанні з змагальними втратами для заохочення просторової гладкості та зменшення шуму, загальна зміна втрат штрафує швидкі зміни інтенсивності генерованих зображень, покращуючи якість зору.
- Генератор мінімізує загальну норму генерованих зображень разом із змагальними втратами.
Втрата самозахисту Ган
Включає механізми самооцінки в архітектурі дискримінатора та генератора, змінюючи функції втрат, щоб відобразити функції, зважені уваги, для зйомки залежностей дальньої дальності, що допомагає генерувати детальні та когерентні зображення.
- Втрати залишаються як у стандартних GANS, але з допоміжними мережами.
Прикордонна втрата для сегментаційних GANS
У сегментації GANS функції втрат можуть включати штрафні санкції на межі для підвищення точності поблизу країв об'єкта, поєднуючи змагальну втрату з обмеженими та краями.
- Втрата генератора включає цілі відповідності прикордонних, а також традиційні змагальні компоненти.
Контрастна втрата у GANS
Деякі варіанти GAN містять контрастні компоненти втрат, спрямовані на те, щоб дізнатися про кращі вбудовані функції, наближаючи подібні зразки та підштовхувати різні зразки, посилюючи навчання представництва в рамках GAN.
- Контрастні втрати, додані до генератора або цілей дискримінатора для покращення якості функцій.
Втрата GAN на основі енергії
Енергетичні GANS формулюють дискримінатор як енергетичну функцію, яка призначає низьку енергію реальним даним та високою енергією для підроблених даних. Втрата навчання оптимізує енергетичний ландшафт, а не явні ймовірності класифікації, що може призвести до більш стабільної підготовки.
- енергія дискримінатора мінімізована для реальних зразків, максимізована для підроблених зразків; Генератор оптимізує для зменшення енергії на генерованих зразках.
Ці приклади ілюструють багату різноманітність функцій втрат, розроблених для покращення результатів тренувань, ефективності та застосування. Кожна функція втрат орієнтована на конкретні проблеми або характеристики розподілу даних, при цьому багато сучасних архітектур GAN часто поєднують кілька термінів втрат для найкращих результатів. Постійна еволюція цих функцій втрат відображає постійний прогрес у змагальних дослідженнях навчання.