Generatívne kontradiktórne siete (GANS) využívajú mnoho stratových funkcií nad rámec pôvodnej štandardnej straty GAN, z ktorých každá bola navrhnutá tak, aby riešila výzvy, ako je nestabilita výcviku, kolaps režimu, miznúce gradienty a problémy s konvergenciou. Nižšie sú uvedené kľúčové príklady rôznych, široko skúmaných a prakticky používaných funkcií straty Gan:
Štandardná strata GAN (strata Min-Max)
Pôvodná strata Gan zo základného dokumentu 2014 od Goodfellow et al. Formuluje hru Minimax s dvoma hráčmi medzi generátorom a diskriminátorom. Diskriminátor sa snaží správne klasifikovať skutočné a falošné údaje maximalizáciou pravdepodobnosti priradenia správnych štítkov, zatiaľ čo generátor sa snaží oklamať diskriminátor minimalizovaním pravdepodobnosti diskriminátora správne identifikovať falošné údaje. Toto je možné napísať ako:
- Strata diskriminátora: Maximalizovať $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Strata generátora: Minimalizujte $$ \ log (1 - d (g (z))) $$
Táto strata však často trpí saturáciou generátora, kde generátor dostáva miznúce gradienty a počas tréningu sa zlepšuje.
Nezákonná strata Gan
Spoločný variant, ktorý zlepšuje stabilitu tréningu, vylepšuje cieľ generátora namiesto toho maximalizovať $$ \ log D (g (z)) $$, namiesto minimalizovania $$ \ log (1 - d (g (z))) $$. Táto alternatíva sa vyhýba saturácii generátora poskytovaním silnejších gradientov na začiatku tréningu. Generátor preladí ako maximalizáciu pravdepodobnosti označenia diskriminátora ako skutočné.
Strata Wasserstein Gan
Strata Wasserstein, zavedená v roku 2017, nahrádza štandardný diskriminátor binárnej klasifikácie „kritikom“, ktorý skóre vzorky v nepretržitom meradle, a nie ich klasifikuje ako skutočné alebo falošné. Strata je založená na vzdialenosti Zeme-Mover (Wasserstein-1) medzi skutočnými a generovanými distribúciami, ktorá poskytuje plynulejšie gradienty a zmierňuje kolaps režimu a miznúce gradienty. Výstupná vrstva diskriminátora sa zmení z aktivácie sigmoidov na lineárne a zavádza sa na presadzovanie kontinuity Lipschitz orezanie alebo trest odovzdania gradientu:
- Strata kritiky: Maximalizovať $$ \ Mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ Mathbb {e} _ {z \ sim p_z} [d (g (z)]]]]] $$]]]
- Strata generátora: Minimalizujte $$ \ Mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Táto strata sa stala štandardom pre stabilnejší výcvik GAN.
Strata najmenších štvorcov
Táto strata, ktorá bola navrhnutá v roku 2016, nahrádza stratu binárnej krížovej entropie so stratou najmenších štvorcov, aby penalizovali vzorky, ktoré ležia ďaleko od hranice rozhodnutia. Diskriminátor sa pokúša ustúpiť skutočné vzorky na 1 a falošné vzorky na 0 pomocou strednej štvorcovej chyby, zatiaľ čo generátor sa pokúša generovať vzorky, ktorých predpovede sú blízko 1. To znižuje zaniknuté gradienty a zlepšuje kvalitu gradientu, čo pomáha generátorovi lepšie sa učiť:
- Strata diskriminátora: Minimalizujte $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Strata generátora: Minimalizujte $$ (d (g (z)) - 1)^2 $$
Tento prístup často poskytuje obrazy vyššej kvality a stabilnejší tréning.
Strata závesu
Strata závesu je ďalším variantom kontradiktórnej straty, ktorý sa zaoberá výcvikom diskriminátora skôr ako s problémom klasifikácie založenej na marži než s pravdepodobnosťou. Diskriminátor je vyškolený na maximalizáciu straty závesu a tlačí skutočné vzorky nad okraj a falošné vzorky pod ním, zatiaľ čo generátor sa snaží maximalizovať skóre diskriminátora pre generované vzorky. Formálne:
- Strata diskriminátora: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Strata generátora: $$- D (G (z)) $$
Strata závesu sa používa v populárnych vysokokvalitných architektúrach GAN, ako je Biggan, na podporu lepšieho toku a stability gradientu.
Trest gradientu Wasserstein (WGAN-GP)
Zlepšenie wasserstein gan, ktorý nahrádza orezanie hmotnosti s trestom gradientu, aby sa účinnejšie presadzovali obmedzenie Lipschitz. Trest gradientu dodáva regularizačný termín, ktorý penalizuje normu gradientu diskriminátora, ktorý sa odchyľuje od 1 na interpolovaných vzorkách medzi skutočnými a falošnými. To zvyšuje stabilitu a konvergenciu tréningu.
- Strata rovnaká ako wgan plus $$ \ lambda \ Mathbb {e} _ {\ hat> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$ Gradient Penalty Term.
Tu sú $$ \ hat {x} $$ interpolované medzi skutočnými a vygenerovanými údajmi.
Relativistická strata gan
Táto strata porovnáva výstupy diskriminátora na skutočných a falošných vzorkách skôr relativistickým spôsobom ako absolútnymi pravdepodobnosťami. Diskriminátor predpovedá, či sú reálne údaje realistickejšie ako falošné údaje, a podľa toho trénuje generátor, čo môže viesť k lepším gradientom a menej zrúteniu režimu.
- Diskriminátor sa snaží maximalizovať $$ \ log \ sigma (d (x) - d (g (z))) $$, kde $$ \ Sigma $$ je sigmoid
- Generátor sa snaží maximalizovať $$ \ log \ Sigma (d (g (z)) - d (x)) $$
Táto relatívna perspektíva tlačí generátor a diskriminátor na priamejšie vyhodnotenie vzoriek proti sebe.
Strata
Genetickú stratu, ktorá bola nedávno vyvinutá prostredníctvom prístupu genetického programovania k optimálnemu návrhu straty, vykazuje vynikajúci výkon a stabilitu v rôznych súboroch údajov vrátane lekárskych obrázkov. Ganetická strata integruje prvky binárnej krížovej entropie so samoregularizáciou, zlepšuje reprodukovateľnosť tréningu a znižuje kolaps režimu. Účinne sa použil na generovanie obrazu a detekciu anomálie pri lekárskom zobrazovaní, čím prekonal tradičné stratové funkcie v stabilite a kvalite. Strata sa môže prispôsobiť režimom školenia generátora aj diskriminátora pre zlepšené výsledky.
Strata hraníc Gan (začala)
Táto strata vyvažuje generátor a diskriminátor prostredníctvom rovnovážneho pojmu, ktorý meria pomer rekonštrukčných strát v diskriminátore autoencoderu. Začal využívať stratovú funkciu založenú na chybe rekonštrukcie diskriminátora, ktorá propaguje generovanie kvality obrazu prostredníctvom procesu hľadania rovnováhy medzi výkonom generátora a diskriminátorom.
- Strata diskriminátora založená na chybe rekonštrukcie autoencoderov pre skutočné a falošné vzorky
- Generátor sa snaží minimalizovať chybu rekonštrukcie diskriminátora falošných vzoriek
Začal zlepšovať stabilitu tréningu pomocou kontrolovaného parametra kompromisu.
Draganova strata
Variácia bola zameraná na zlepšenie pôvodného GAN zmenou pokuty gradientu, ktorý sa má uplatňovať iba okolo dátového rozdeľovača, nazývaného Dragan (regularizácia diskriminátora s pokutom gradientu). Treanuje gradienty diskriminátora okolo skutočných údajov, ktoré sú narušené hlukom, aby podporili plynulejšie hranice rozhodovania a znížili kolaps režimu.
- Strata podobná WGAN-GP, ale s pokutom miestneho gradientu okolo narušených skutočných dátových bodov.
Strata zodpovedajúce funkcie
Namiesto priameho použitia výstupu diskriminátora pre stratu je generátor vyškolený tak, aby zodpovedal medziproduktom extrahovanými zo skutočných a generovaných vzoriek diskriminátorom. To vedie k stabilnejšiemu tréningu a znižuje kolaps režimu tým, že povzbudzuje generátor, aby zachytil štatistiku vyššieho poriadku.
- Strata generátora: Minimalizujte $$ \ | \ text {Funktion} (x) - \ text {Funktion} (g (z)) \ | $$, kde sa vlastnosti extrahujú v určitej vrstve diskriminátora.
Strata hľadá režim
Táto strata podporuje rozmanitosť generovaných výstupov výslovným penalizáciou kolapsu režimu. Porovnáva vzdialenosti v latentnom priestore a obrazovom priestore medzi pármi generovaných vzoriek, čo propaguje generátor, aby vytvorili rozmanitejšie vzorky.
- Strata generátora zahŕňa termín maximalizáciu vzdialenosti vo výstupnom priestore vzhľadom na vzdialenosť v latentnom priestore medzi pármi vzoriek.
Zodpovedajúce a percepčné straty
Tieto straty kombinujú kontradiktórnu stratu s ďalšími vnímanými stratami alebo stratami založenými na funkciách vypočítaných pomocou predbežných sietí (napr. Sieť VGG). Takéto straty presadzujú, že generované obrázky nielen oklamajú diskriminátora, ale tiež zodpovedajú percepčným vlastnostiam skutočných obrázkov, čo vedie k ostrejším a realistickejším výstupom.
- Generátor minimalizuje váženú súčet kontradiktórnej straty a výrazy straty zhodných/funkcií.
Straty najmenej absolútnych odchýlok (L1) a najmenších štvorcov (L2) v podmienených gans
V podmienených GAN používaných na úlohy prekladu obrazu sú spolu s kontradiktórnymi stratami ďalšie straty L1 alebo L2 medzi generovanými a pozemnými obrázkami pravdy. Tieto straty podporujú presnosť na úrovni pixelov a znižujú artefakty vo výstupoch.
- Strata generátora = strata kontverzie + $$ \ Lambda \ | G (z) - x \ | _1 $$ alebo $$ \ \ lambda \ | G (z) - x \ | _2^2 $$, kde $$ x $$ je cieľový obraz.
Relativistická priemerná strata Gan (ragan)
Ragan, rozšírenie relativistického Ganu, používa priemerný výstup diskriminátora pre skutočné a falošné obrázky na stabilizáciu tréningu poskytovaním globálnejšieho porovnania ako vzorky. Tento prístup pomáha znižovať nadmernú dôveru v predpovediach diskriminátora a zlepšuje tok gradientu.
- Strata zahŕňa rozdiely výstupu diskriminátora medzi vzorkou a priemerným výstupom na protichodných triedach.
Celková strata variácie
Celková strata variácie často v kombinácii s kontradiktórnou stratou na podporu plynulosti priestorovej a zníženia hluku penalizuje zmeny rýchlej intenzity na generovaných obrazoch, čím sa zlepšuje vizuálna kvalita.
- Generátor minimalizuje celkovú normu variácie generovaných obrazov spolu s kontradiktórnou stratou.
Sebaposkytovanie straty gan
Zahŕňa mechanizmy sebaúcty do architektúr diskriminátora a generátora, modifikujú sa funkcie straty tak, aby odrážali funkcie zamerané na pozornosť pri zachytávaní závislosti na dlhom dosahu, čo pomáha vytvárať podrobné a koherentné obrazy.
- Straty zostávajú ako v štandardných GANS, ale so slepými sieťami s vlastným pozorovaním.
Strata hraníc pre segmentáciu gans
V segmentácii GAN môžu stratové funkcie zahŕňať sankcie s hranicami, aby sa zlepšila presnosť v blízkosti okrajov objektov, čo kombinuje kontradiktórnu stratu s hranicami/hranicami.
- Strata generátora zahŕňa ciele zodpovedajúce hraniciam spolu s tradičnými kontradiktórnymi komponentmi.
Kontrastná strata v Gans
Niektoré varianty GAN zahŕňajú kontrastné komponenty straty, ktoré sa zameriavajú na to, aby sa naučili lepšie vloženia funkcií tým, že podobné vzorky priblížia a tlačia odlišné vzorky od seba, čím sa zlepšuje výučba reprezentácie v rámci GAN rámcov.
- Kontrastná strata pridala k cieľom generátora alebo diskriminátora na zlepšenie kvality funkcií.
Strata ganov založená na energii
GAN založené na energii formulujú diskriminátor ako energetickú funkciu, ktorá k falošným údajom priraďuje nízku energiu a vysoká energia. Strata tréningu optimalizuje skôr energetické prostredie ako explicitné pravdepodobnosti klasifikácie, čo môže viesť k stabilnejšiemu tréningu.
- Energia diskriminátora minimalizovaná pre skutočné vzorky, maximalizovaná pre falošné vzorky; Generátor optimalizuje na zníženie energie na generovaných vzorkách.
Tieto príklady ilustrujú bohatú rozmanitosť stratových funkcií vyvinutých na zlepšenie stability, výkonu, výkonu a výsledkov špecifických pre aplikáciu. Každá funkcia straty sa zameriava na konkrétne výzvy alebo charakteristiky distribúcie údajov, pričom mnohé moderné architektúry GAN často kombinujú viacero stratových výrazov pre najlepšie výsledky. Neustále vývoj týchto stratových funkcií odráža pokračujúci pokrok vo výskume kontradiktórneho vzdelávania.