Generativní kontradiktorní sítě (GANS) využívají mnoho ztrát nad původní standardní ztrátou GAN, z nichž každá je navržena tak, aby řešila výzvy, jako je nestabilita tréninku, kolaps režimu, mizející gradienty a problémy s konvergencí. Níže jsou uvedeny klíčové příklady rozmanitých, široce zkoumaných a prakticky používaných funkcí ztráty GAN:
Standardní ztráta GAN (ztráta Min-Max)
Původní ztráta GAN z klíčového příspěvku z roku 2014 od Goodfellow et al. Formuluje hru minimax dvou hráčů mezi generátorem a diskriminátorem. Diskriminátor se snaží správně klasifikovat skutečná a falešná data maximalizací pravděpodobnosti přiřazení správných štítků, zatímco generátor se snaží oklamat diskriminace minimalizací pravděpodobnosti diskriminátora správně identifikovat falešná data. To lze napsat jako:
- Ztráta diskriminátoru: Maximalizovat $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Ztráta generátoru: Minimalizujte $$ \ log (1 - d (g (z)) $$
Tato ztráta však často trpí nasycením generátoru, kde generátor dostává mizející gradienty a během tréninku se přestane zlepšovat.
Neposunující ztráta GAN
Společná varianta, která zlepšuje stabilitu tréninku, vylepšuje cíl generátoru místo toho maximalizovat $$ \ log d (G (z)) $$, spíše než minimalizovat $$ \ log (1 - D (G (z))) $$. Tato alternativa se vyhýbá nasycení generátoru poskytováním silnějších gradientů na počátku tréninku. Zvyšuje generátor jako maximalizující pravděpodobnost označování označení generovaných vzorků jako skutečné.
Ztráta Wasserstein Gan
Ztráta Wasserstein, zavedená v roce 2017, nahrazuje standardní binární klasifikační diskriminátor „kritikem“, který skóre vzorky v nepřetržitém měřítku spíše než je klasifikuje jako skutečné nebo falešné. Ztráta je založena na vzdálenosti pozemské (Wasserstein-1) mezi skutečnými a generovanými distribucemi, které poskytuje plynulejší gradienty a zmírňuje kolaps režimu a mizející gradienty. Výstupní vrstva diskriminátoru se mění z aktivace sigmoidu na lineární a zavede se oříznutí hmotnosti nebo trest gradientu pro vynucení Lipschitzovy kontinuity:
- Ztráta kritiky: Maximalize $$ \ Mathbb {E} _ {x \ sim p_ {data> [d (x)] - \ Mathbb {e} _ {Z \ sim p_z} [d (g (z))] $$
- Ztráta generátoru: Minimalizujte $$ \ Mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Tato ztrátová funkce se stala standardem pro stabilnější trénink GAN.
Nejmenší čtvereční ztráta gan
Tato ztráta, která byla navržena v roce 2016, nahrazuje binární ztrátu křížové entropie za ztrátu nejmenších čtverců, aby penalizovala vzorky, které leží daleko od hranice rozhodování. Diskriminátor se pokouší upravovat reálné vzorky na 1 a falešné vzorky na 0 pomocí průměrné chyby na druhou, zatímco generátor se pokouší generovat vzorky, jejichž předpovědi jsou téměř 1. To snižuje pajální gradienty a zlepšuje kvalitu gradientu, což pomáhá generátoru lépe se učit: lépe se učit: lépe se učit: lépe se učit: lépe se učit:
- Ztráta diskriminátoru: Minimalizujte $$ (d (x) - 1)^2 + (d (g (z))^2 $$
- Ztráta generátoru: Minimalizujte $$ (d (g (z)) - 1)^2 $$
Tento přístup často poskytuje vyšší kvalitní obrázky a stabilnější trénink.
Ztráta závěsu
Ztráta závěsů je další variantou pro kontradiktorní ztráty, která zachází s diskriminátorem jako s klasifikačním problémem založeným na okraji než pravděpodobnostní. Diskriminátor je vyškolen k maximalizaci ztráty závěsu, tlačení skutečných vzorků nad okraj a falešné vzorky pod ním, zatímco generátor se snaží maximalizovat skóre diskriminace pro generované vzorky. Formálně:
- Ztráta diskriminátoru: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Ztráta generátoru: $$- D (G (z)) $$
Ztráta závěsu byla použita v populárních vysoce kvalitních architekturách GAN, jako je Biggan, k podpoře lepšího toku a stability gradientu.
Trest Wasserstein Gradient (Wgan-GP)
Zlepšení na Wasserstein Gan, které nahrazuje ořezávání hmotnosti s přechodovým trestem za účelem efektivnějšího vymáhání omezení Lipschitz. Trest gradientu přidává regularizační termín, který penalizuje normu gradientu diskriminátora odchýlení od 1 na interpolovaných vzorcích mezi skutečnými a falešnými. To zvyšuje stabilitu a konvergenci tréninku.
- Ztráta stejně jako Wgan Plus $$ \ Lambda \ Mathbb {E} _ {\ Hat {x> [(\ | \ nabla _ {\ Hat {x> d (\ Hat {x}) \ | _2 - 1)^2] $$ GRADIENT PAPENTY TERM
Zde $$ \ HAT {x} $$ jsou vzorky interpolovány mezi reálná a generovaná data.
Relativistická ztráta GAN
Tato ztráta porovnává výstupy diskriminátoru na skutečných a falešných vzorcích spíše relativistickým způsobem než absolutní pravděpodobnosti. Diskriminátor předpovídá, zda jsou skutečná data realističtější než falešná data, a generátor podle toho trénuje, což může vést k lepším gradientům a menším kolapsu režimu.
- Diskriminátor se snaží maximalizovat $$ \ log \ Sigma (d (x) - d (g (z))) $$, kde $$ \ Sigma $$ je sigmoid
- Generátor se snaží maximalizovat $$ \ log \ Sigma (d (g (z)) - d (x)) $$
Tato relativní perspektiva tlačí generátora a diskriminace, aby vyhodnotil vzorky proti sobě přímo.
Ganetická ztráta
Ganetická ztráta nedávno vyvinutá prostřednictvím přístupu genetického programování k optimálnímu návrhu ztráty ukazuje vynikající výkon a stabilitu napříč různými datovými sadami včetně lékařských obrázků. Ganetická ztráta integruje prvky binární křížové entropie se samoregularizací, zlepšuje reprodukovatelnost tréninku a kolaps snižování režimu. Efektivně byla aplikována na generování obrazu a detekci anomálie při lékařském zobrazování a překonává tradiční ztrátové funkce stability a kvality. Ztráta může být přizpůsobena jak pro generátorové, tak pro režimy školení generátoru i diskriminátorů pro zlepšení výsledků.
Hraniční rovnováha gan (začala) ztráta
Tato ztráta vyvažuje generátor a diskriminátor prostřednictvím rovnovážného termínu, který měří poměr ztráty rekonstrukce v diskriminaci autoencoderu. Začal začal používat ztrátovou funkci založenou na chybě rekonstrukce diskriminátoru, která podporuje generování kvalitního obrazu prostřednictvím rovnovážného procesu hledání mezi generátorem a dispriminačním výkonem.
- Ztráta diskriminátoru na základě chyby rekonstrukce autoencoderu pro skutečné a falešné vzorky
- Generátor se snaží minimalizovat chybu rekonstrukce diskriminátora falešných vzorků
Začal zlepšit stabilitu tréninku s kontrolovaným kompromisem.
Ztráta DAGAN
Variace zaměřená na zlepšení původního GAN úpravou trestu gradientu, která má být použita pouze kolem datového rozdělovače, nazývaná DAGAN (diskriminátor regularizace s přechodem). Trestuje gradienty diskriminátora kolem skutečných dat narušených hlukem, aby povzbudila hladší hranice rozhodování a snížila kolaps režimu.
- Ztráta podobná Wgan-GP, ale s místním přechodovým trestem kolem narušených skutečných datových bodů.
Ztráta porovnávání funkcí
Namísto přímého použití výstupu diskriminátoru pro ztrátu je generátor vyškolen tak, aby odpovídal mezilehlým vlastnostem extrahovaným ze skutečných a generovaných vzorků diskriminačním. To vede k stabilnějšímu tréninku a snižuje se kolaps režimu povzbuzením generátoru k zachycení statistik vyššího řádu.
- Ztráta generátoru: Minimalizujte $$ \ | \ Text {Funkce} (x) - \ Text {Funkce} (g (z)) \ | $$, kde jsou funkce extrahovány v nějaké vrstvě diskriminátoru.
Režim hledající ztrátu
Tato ztráta podporuje rozmanitost ve vygenerovaných výstupů výslovně penalizačním kolapsem režimu. Srovnává vzdálenosti v latentním prostoru a obrazovém prostoru mezi páry generovaných vzorků a podporuje generátor za vzniku rozmanitějších vzorků.
- Ztráta generátoru zahrnuje termín maximalizace vzdálenosti ve výstupním prostoru vzhledem k vzdálenosti v latentním prostoru mezi páry vzorků.
Porovnávání funkcí a vnímavé ztráty
Tyto ztráty kombinují ztráty protivníků s dalšími vnímavými nebo funkcemi založenými na základě vypočtených pomocí předběžných sítí (např. VGG sítí). Takové ztráty prosazují, že generované obrázky nejen oklamají diskriminátora, ale také odpovídají percepčním vlastnostem skutečných obrázků, což vede k ostřejším a realističtějším výstupům.
- Generátor minimalizuje váženou součet kontradiktorních ztrát a podmínek ztráty porovnávání funkcí.
Nejméně absolutní odchylky (L1) a nejmenší čtverce (L2) ztráty u podmíněných gans
U podmíněných Gans používaných pro překlady obrazu jsou další ztráty L1 nebo L2 mezi generovanými a pozemními obrazy pravdy začleněny spolu s kontradiktorními ztrátami. Tyto ztráty podporují přesnost na úrovni pixelů a snižují artefakty ve výstupních výkonech.
- Ztráta generátoru = Kontradiční ztráta + $$ \ Lambda \ | G (z) - x \ | _1 $$ nebo $$ \ lambda \ | G (z) - x \ | _2^2 $$ Kde $$ x $$ je cílový obrázek.
Relativistická průměrná ztráta GAN (Ragan)
Prodloužení relativistické GAN, Ragan používá průměrný diskriminátor pro skutečné a falešné obrázky ke stabilizaci tréninku tím, že poskytuje spíše globálnější srovnání než vzorek. Tento přístup pomáhá snížit nadměrnou důvěru v předpovědi diskriminátorů a zlepšuje tok gradientu.
- Ztráta zahrnuje rozdíly v rozsahu mezi vzorkem a průměrným výkonem na nepřátelských třídách.
Celková ztráta variace
Často kombinovaná s kontradiktorními ztrátami, která podporuje prostorovou hladkost a snižuje hluk, celková ztráta variací penalizuje rychlé změny intenzity ve generovaných obrazech a zlepšuje vizuální kvalitu.
- Generátor minimalizuje normu celkové variace generovaných obrázků spolu s ztrátou kontradiktorií.
Ztráta sebepoznání
Zahrnuje mechanismy sebepoznání do architektur diskriminátorů a generátorů a úpravy ztrátových funkcí odrážejí funkce vážení pozornosti pro zachycení závislostí na dlouhé vzdálenosti, což pomáhá generovat podrobné a soudržné obrazy.
- Ztráty zůstávají jako ve standardních GANS, ale s rozloženými sítěmi.
Ztráta hranic pro segmentaci Gans
V segmentaci Gans mohou ztrátové funkce zahrnovat sankce, které jsou vědomy hranic za účelem zlepšení přesnosti poblíž okrajů objektu a kombinují ztrátu protivníku s termíny hranice/hrany.
- Ztráta generátoru zahrnuje cíle porovnávání hranic spolu s tradičními kontradiktorními komponenty.
Kontrastní ztráta u Gans
Některé varianty GAN zahrnují kontrastní komponenty ztráty, jejichž cílem je naučit se lepší vložení prvků tím, že podobné vzorky přiblíží a odlišuje odlišné vzorky, což zvyšuje učení reprezentace v rámci GAN.
- Kontrastní ztráta přidaná k cílům generátoru nebo diskriminátoru ke zlepšení kvality funkcí.
Ztráta GAN založené na energii
Energetické GANS formulují diskriminátor jako energetickou funkci, která přiřazuje nízkou energii skutečným datům a vysokou energii k falešným datům. Ztráta školení optimalizuje spíše energetické prostředí než explicitní klasifikační pravděpodobnosti, což může vést k stabilnějšímu tréninku.
- Diskriminátorská energie minimalizovaná pro skutečné vzorky, maximalizované pro falešné vzorky; Generátor optimalizuje pro snížení energie na generovaných vzorcích.
Tyto příklady ilustrují bohatou rozmanitost ztrátových funkcí vyvinuté pro zlepšení stability tréninku, výkonnosti GANS a výsledků specifických pro aplikaci. Každá funkce ztráty se zaměřuje na specifické výzvy nebo charakteristiky distribucí dat, přičemž mnoho moderních architektur GAN často kombinuje více ztrátových podmínek pro nejlepší výsledky. Nepřetržitý vývoj těchto funkcí ztráty odráží průběžný pokrok ve výzkumu kontradiktorního učení.