Генеративные состязательные сети (GANS) используют много функций убытков помимо исходной стандартной потери GAN, каждая из которых предназначена для решения таких проблем, как нестабильность обучения, коллапс режимов, градиенты исчезновения и проблемы сближения. Ниже приведены ключевые примеры разнообразных, широко исследованных и практически используемых функций потери GAN:
Стандартная потеря Gan (Min-Max потеря)
Первоначальная потеря GaN из семенной бумаги 2014 года Goodfellow et al. Сформулирует игру с мини-игрой с двумя игроками между генератором и дискриминатором. Дискриминатор пытается правильно классифицировать реальные и поддельные данные, максимизируя вероятность назначения правильных метков, в то время как генератор пытается обмануть дискриминатора, сводя к минимуму вероятность того, что дискриминатор правильно определяет фальшивые данные. Это можно написать как:
- Дискриминатор потеря: максимизировать $$ \ log D (x) + \ log (1 - d (g (z))) $$
- Потеря генератора: минимизировать $$ \ log (1 - d (g (z))) $$
Тем не менее, эта потеря часто страдает от насыщения генератора, где генератор получает градиенты исчезающих и перестает улучшаться во время обучения.
Не насыщенная потеря Гана
Общий вариант, который улучшает стабильность обучения, настраивает цель генератора вместо того, чтобы максимизировать $$ \ log d (g (z)) $$, а не минимизировать $$ \ log (1 - d (g (z))) $$. Эта альтернатива избегает насыщения генератора, обеспечивая более сильные градиенты в начале тренировок. Он переосмысливает генератор как максимизацию вероятности дискриминатора на маркировку сгенерированных образцов как реальных.
Вассерштейн Ган Потеря
Потеря Вассерштейна, представленная в 2017 году, заменяет стандартный бинарный дискриминатор классификации на «критик», который забирает образцы в непрерывном масштабе, а не классифицирует их как реальные или фальшивые. Потеря основана на расстоянии между землями (Wasserstein-1) между реальными и генерируемыми распределениями, что обеспечивает более плавные градиенты и смягчает обрушение мод и градиенты исчезновения. Выходной слой дискриминатора изменяется с активации сигмоида на линейную, а штраф за веса или градиент вводится для обеспечения непрерывности Липшиц:
- Потеря критики: максимизировать $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- Потеря генератора: минимизировать $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Эта функция потерь стала стандартом для более стабильного обучения GAN.
Наименьшие квадраты
Предлагаемая в 2016 году, эта потеря заменяет бинарную потерю поперечной энтропии с потерей наименьших квадратов, чтобы наказать образцы, которые в большей степени лежат далеко от границы принятия решений. Дискриминатор пытается регрессировать реальные образцы до 1 и поддельные образцы до 0, используя среднюю квадратную ошибку, тогда как генератор пытается генерировать образцы, прогнозы которых близки к 1. Это снижает градиенты исчезающих и улучшает качество градиента, помогая генератору учиться лучше:
- Дискриминатор потеря: минимизировать $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Потеря генератора: минимизировать $$ (d (g (z)) - 1)^2 $$
Этот подход часто дает более качественные изображения и более стабильное обучение.
Потеря шарнира
Потеря шарнира-это еще один вариант состязательной потери, который рассматривает обучение дискриминатора как задача классификации на основе маржи, а не вероятностную. Дискриминатор обучен максимизировать потерю шарнира, выталкивая реальные образцы выше края и поддельные образцы под ним, в то время как генератор пытается максимизировать показатели дискриминатора для генерируемых образцов. Формально:
- Дискриминатор потеря: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Потеря генератора: $$- d (g (z)) $$
Потеря шарниров использовалась в популярных высококачественных архитектурах GAN, таких как Biggan, для продвижения лучшего градиентного потока и стабильности.
Штраф о градиенте Вассерштейна (WGAN-GP)
Улучшение на Gansein Gan, которое заменяет обрезку веса на штраф градиента, чтобы обеспечить более эффективное обеспечение ограничения Липшиц. Градиентный штраф добавляет термин регуляризации, который наказывает норму градиента дискриминатора, отклоняясь от 1 на интерполированные образцы между реальными и поддельными. Это повышает стабильность и сходимость обучения.
- потеря так же, как Wgan Plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$ Градиент.
Здесь $$ \ hat {x} $$ - это образцы, интерполированные между реальными и сгенерированными данными.
Релятивистская потеря Гана
Эта потеря сравнивает выходы дискриминатора на реальных и поддельных образцах релятивистскими, а не абсолютными вероятностями. Дискриминатор прогнозирует, являются ли реальные данные более реалистичными, чем поддельные данные, и соответственно генератор тренируется, что может привести к лучшим градиентам и меньшему коллапсу режима.
- Дискриминатор пытается максимизировать $$ \ log \ sigma (d (x) - d (g (z))) $$, где $$ \ sigma $$ - это сигмоид
- Генератор пытается максимизировать $$ \ log \ sigma (d (g (z)) - d (x)) $$
Эта относительная перспектива подталкивает генератор и дискриминатор для более напрямую оценивать образцы друг против друга.
Ганетическая потеря
Недавно разработанная с помощью генетического программирования подхода к оптимальной дизайне потерь, ганетическая потеря показывает превосходную производительность и стабильность в различных наборах данных, включая медицинские изображения. Ганетическая потеря интегрирует элементы бинарной перекрестной энтропии с саморегуляризацией, улучшением воспроизводимости обучения и сокращения режима. Он был эффективно применен для генерации изображений и обнаружения аномалий при медицинской визуализации, опережая традиционные функции потерь в стабильности и качестве. Потеря может быть адаптирована как для режимов обучения генератора, так и для дискриминатора для улучшения результатов.
Пограничное равновесие Ган (начало) Потеря
Эта потеря уравновешивает генератор и дискриминатор через равновесный термин, который измеряет соотношение потерь реконструкции у дискриминатора автоэнкодера. Запуск использует функцию потерь, основанную на ошибке реконструкции дискриминатора, способствуя генерации качества изображений посредством процесса поиска равновесия между мощностью генератора и дискриминатора.
- Потеря дискриминатора на основе ошибки реконструкции AutoEncoder для реальных и поддельных образцов
- Генератор пытается свести к минимуму ошибку реконструкции дискриминатора фальшивых образцов
Начало улучшает стабильность обучения с помощью контролируемого параметра компромисса.
Потеря драгана
Различия, направленная на улучшение первоначальной GAN путем изменения штрафа градиента, которое применяется только вокруг коллектора данных, называемого Dragan (регуляризация дискриминатора с штрафом градиента). Он наказывает градиенты дискриминатора вокруг реальных данных, возмущенных шумом, чтобы поощрять более плавные границы решений и уменьшить коллапс режима.
- Потеря, аналогичная WGAN-GP, но с локальным градиентным штрафом вокруг возмущенных реальных точек данных.
Потеря сопоставления функций
Вместо того, чтобы непосредственно использовать выход дискриминатора для потерь, генератор обучен сопоставить промежуточные функции, извлеченные из реальных и сгенерированных образцов дискриминатором. Это приводит к более стабильному обучению и уменьшает коллапс режима, поощряя генератор к захвату статистики высшего порядка.
- Потеря генератора: минимизировать $$ \ | \ text {features} (x) - \ text {features} (g (z)) \ | $$, где функции извлекаются на некотором слое дискриминатора.
Режим поиска потери
Эта потеря способствует разнообразию в сгенерированных выходах путем явного штрафного обрушения режима. Он сравнивает расстояния в скрытом пространстве и пространстве изображения между парами сгенерированных образцов, способствуя генератору для получения более разнообразных образцов.
- Потеря генератора включает в себя дистанцию максимизации термина в выходном пространстве по сравнению с расстоянием в скрытом пространстве между парами образцов.
Сопоставление функций и потери восприятия
Эти потери объединяют потери состязания с дополнительными потери восприятия или на основе функций, рассчитанных с использованием предварительно проведенных сетей (например, VGG Networks). Такие убытки обеспечивают соблюдение, которые сгенерировали изображения не только обманывать дискриминатора, но и соответствуют восприятием реальных изображений, что приводит к более четким и более реалистичным результатам.
- Генератор сводит к минимуму взвешенную сумму потерь состязания и термины потери восприятия/сопоставления функций.
Наименьшие абсолютные отклонения (L1) и наименьшие квадраты (L2) потери в условных гансах
В условных расколах, используемых для задач перевода изображений, дополнительные потери L1 или L2 между генерируемыми и наземными изображениями истины включаются наряду с состязательными потери. Эти убытки поощряют точность на уровне пикселей и снижать артефакты в результатах.
- Потеря генератора = потери состязания + $$ \ lambda \ | G (z) - x \ | _1 $$ или $$ \ lambda \ | G (z) - x \ | _2^2 $$, где $$ x $$ является целевым изображением.
Релятивистская средняя потеря ган (раган)
Раган, расширение релятивистской GAN, использует средний вывод дискриминатора для реальных и поддельных изображений, чтобы стабилизировать обучение, обеспечивая более глобальное сравнение, а не образцы. Этот подход помогает снизить самоуверенность в прогнозах дискриминатора и улучшает поток градиента.
- Потеря включает в себя различия в выходе дискриминатора между выборкой и средним результатом на противоположных классах.
Общая потеря вариации
Часто в сочетании с потерей состязания, чтобы стимулировать пространственную плавность и уменьшить шум, общее количество потерь вариации наказывает быстрое изменение интенсивности в генерируемых изображениях, улучшая визуальное качество.
- Генератор минимизирует норму общего изменения сгенерированных изображений наряду с потерей состязания.
Потеря о себе
Включает в себя механизмы самосознания в архитектуре дискриминатора и генератора, изменяя функции потерь, чтобы отразить взвешенные внимания функции для захвата зависимостей дальнего действия, что помогает генерации подробных и когерентных изображений.
- Убытки остаются в стандартных гансах, но с дополнительными сетями самоубийства.
Потеря границы для сегментации
В Gans сегментации функции потерь могут включать штрафы за границу, чтобы повысить точность вблизи краев объектов, сочетание потерь состязания с терминами границ/склона к краю.
- Потеря генератора включает в себя цели сопоставления границ вместе с традиционными состязательными компонентами.
Контрастная потеря в Гансе
Некоторые варианты GAN включают компоненты контрастных потерь, направленные на изучение более эффективных встроений, путем приближения схожих образцов и выделяя разнородные образцы отдельно, улучшая обучение представления в рамках Gan.
- Контрастные потери, добавленные к целям генератора или дискриминатора для улучшения качества функций.
Потеря на основе энергетики
Ганс на основе энергии формулирует дискриминатор как энергетическую функцию, которая назначает низкую энергию для реальных данных и высокой энергии для фальшивых данных. Потеря обучения оптимизирует энергетический ландшафт, а не явные вероятности классификации, что может привести к более стабильному обучению.
- энергия дискриминатора минимизируется для реальных образцов, максимизированная для поддельных образцов; Генератор оптимизирует, чтобы уменьшить энергию на генерируемых образцах.
Эти примеры иллюстрируют богатое разнообразие функций потерь, разработанных для улучшения стабильности обучения Ганса, производительности и специфических для применения результатов. Каждая функция потерь нацелена на конкретные проблемы или характеристики распределения данных, причем многие современные архитектуры GAN часто объединяют множество терминов потерь для достижения наилучших результатов. Непрерывная эволюция этих функций потерь отражает постоянные достижения в исследованиях состязательного обучения.