Generativne nasprotne mreže (GAN) uporabljajo številne funkcije izgube, ki presegajo prvotno standardno izgubo GAN, od katerih je vsaka zasnovana za reševanje izzivov, kot so nestabilnost usposabljanja, propad načina, izginjajoči gradienti in vprašanja konvergence. Spodaj so ključni primeri raznolikih, široko raziskanih in praktično uporabljenih funkcij izgube GAN:
Standardna izguba GAN (izguba MIN-Max)
Prvotna izguba GAN iz semenskega leta 2014, ki sta jo avtor Goodfellow et al. Forgulira igro z dvema igralcima Minimax med generatorjem in diskriminatorjem. Diskriminator poskuša pravilno razvrstiti resnične in ponarejene podatke tako, da maksimira verjetnost dodeljevanja pravilnih nalepk, medtem ko generator poskuša zavajati diskriminator, tako da zmanjša verjetnost, da bo diskriminator pravilno opredelil ponarejene podatke. To je mogoče zapisati kot:
- Izguba diskriminatorja: maksimiraj $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Izguba generatorja: Minimiziraj $$ \ log (1 - d (g (z))) $$
Vendar ta izguba pogosto trpi zaradi nasičenosti generatorja, kjer generator med treningom prejema izginjajoče gradiente in se med treningom preneha izboljševati.
Nesredna izguba gan
Skupna varianta, ki izboljšuje stabilnost usposabljanja, doseže cilj generatorja, da namesto tega maksimira $$ \ log d (g (z)) $$, namesto da bi zmanjšali $$ \ log (1 - d (g (z))) $$. Ta alternativa se izogne nasičenosti generatorja z zagotavljanjem močnejših gradientov zgodaj na treningu. Generator preoblikuje kot maksimiranje verjetnosti diskriminatorja za označevanje vzorcev kot resničnih.
Izguba Wasserstein gan
Izguba Wassersteina, uvedena leta 2017, nadomesti standardni diskriminator binarne klasifikacije s "kritikom", ki vzorce doseže v neprekinjenem obsegu, namesto da bi jih razvrstil kot resnične ali ponarejene. Izguba temelji na razdalji Zemlje (Wasserstein-1) med resničnimi in ustvarjenimi porazdelitvami, kar zagotavlja bolj gladke gradiente in blaži propad in izginjanje gradientov. Izhodni sloj diskriminatorja se spremeni iz sigmoidne aktivacije v linearno, uvedena se odbojni ali gradientna kazen za uveljavitev kontinuitete Lipschitz:
- Kritična izguba: maksimiraj $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- Izguba generatorja: Minimizirajte $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Ta funkcija izgube je postala standard za stabilnejši trening GAN.
Najmanj kvadrata izguba gan
Ta izguba, predlagana leta 2016, nadomešča izgubo binarne navzkrižne entropije z najmanjšo izgubo kvadratov, da bi kaznovali vzorce, ki so daleč od meje odločitve. Diskriminator poskuša regresirati resnične vzorce na 1 in ponarejene vzorce na 0 z uporabo povprečne napake na kvadratu, medtem ko generator poskuša ustvariti vzorce, katerih napovedi so blizu 1. To zmanjša izginjajoče gradiente in izboljša kakovost gradienta, pomaga, da se generator bolje nauči:
- Izguba diskriminatorja: minimiziraj $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Izguba generatorja: zmanjšajte $$ (d (g (z)) - 1)^2 $$
Ta pristop pogosto daje kakovostnejše slike in stabilnejši trening.
Izguba tečajev
Izguba tečajev je še ena nasprotna različica izgube, ki diskriminatorsko usposabljanje obravnava kot težavo s klasifikacijo, ki temelji na marži, ne pa kot verjetnost. Diskriminator je usposobljen za povečanje izgube tečajev, pri čemer je potisnil resnične vzorce nad mejo in ponarejene vzorce pod njim, medtem ko generator poskuša maksimirati ocene diskriminatorja za ustvarjene vzorce. Formalno:
- Izguba diskriminatorja: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Izguba generatorja: $$- d (g (z)) $$
Izguba tečajev je bila uporabljena v priljubljenih visokokakovostnih GAN arhitekturah, kot je Biggan, za spodbujanje boljšega pretoka in stabilnosti naklona.
Gradientna kazen Wasserstein (WGAN-GP)
Izboljšanje na Wasserstein GAN, ki nadomešča striženje z utežmi z gradientno kaznijo, da učinkoviteje uveljavlja omejitev Lipschitza. Gradientna kazen dodaja izraz regularizacije, ki kaznuje normo diskriminatorja gradienta, ki odstopa od 1 na interpoliranih vzorcih med resničnimi in ponarejenimi. To povečuje konvergenco stabilnosti in usposabljanja.
- Izguba enaka kot WGAN Plus $$ \ Lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$ gradientni penacijski izraz
Tukaj $$ \ hat {x} $$ so vzorci interpolirani med resničnimi in ustvarjenimi podatki.
Relativistična izguba gan
Ta izguba primerja izhode diskriminatorja na resničnih in ponarejenih vzorcih na relativističen način in ne absolutne verjetnosti. Diskriminator napoveduje, ali so resnični podatki bolj realni kot ponarejeni podatki, generator pa ustrezno usposablja, kar lahko privede do boljših gradientov in manj propada načina.
- Diskriminator poskuša maksimirati $$ \ log \ sigma (d (x) - d (g (z))) $$, kjer je $$ \ sigma $$ sigmoid
- Generator poskuša maksimirati $$ \ log \ sigma (d (g (z)) - d (x)) $$
Ta relativna perspektiva potisne generator in diskriminator, da bolj neposredno ocenjuje vzorce drug proti drugemu.
Ganetska izguba
Nedavno razvit z genetskim programiranjem pri pristopu k optimalnemu oblikovanju izgub, ganetna izguba kaže na vrhunsko zmogljivost in stabilnost v različnih naborih podatkov, vključno z medicinskimi slikami. Ganetska izguba združuje elemente binarne navzkrižne entropije s samoregularizacijo, izboljšanjem obnovljivosti treninga in zmanjšanjem zmanjšanja načina. Učinkovito se uporablja za ustvarjanje slik in odkrivanje anomalije pri medicinskem slikanju, ki presega tradicionalne funkcije izgube v stabilnosti in kakovosti. Izgubo je mogoče prilagoditi tako za režime usposabljanja generatorja kot za diskriminatorje za izboljšane rezultate.
Izguba mejnega ravnotežja (začela)
Ta izguba uravnoteži generator in diskriminator z ravnotežnim izrazom, ki meri razmerje med izgubo obnove v diskriminatorju avtoenkoderja. Začel je uporabljati funkcijo izgube, ki temelji na napaki rekonstrukcije diskriminatorja in spodbuja kakovostno ustvarjanje slike s pomočjo ravnotežja, ki išče postopek med generatorjem in močjo diskriminatorja.
- Izguba diskriminatorja na podlagi napake samodejne rekonstrukcije za realne in ponarejene vzorce
- Generator poskuša zmanjšati napako diskriminatorja ponarejenih vzorcev
Začel je izboljšati stabilnost usposabljanja z nadzorovanim kompromisnim parametrom.
Draganska izguba
Sprememba, ki je namenjena izboljšanju prvotnega GAN -a s spreminjanjem gradientne kazni, ki se uporablja le okoli podatkovnega razdelilnika, se imenuje Dragan (diskriminatorski regulizacija z gradientno kazen). Kaznizira gradiente diskriminatorjev okoli resničnih podatkov, ki so moteni s hrupom, da bi spodbudili bolj gladke meje odločitve in zmanjšali propad načina.
- Izguba, podobna WGAN-GP, vendar z lokalno gradientno kazen okoli motenih resničnih podatkovnih točk.
Ujemanje izgube
Namesto da bi neposredno uporabili izhod diskriminatorja za izgubo, je generator usposobljen za ujemanje vmesnih lastnosti, ki jih diskriminator izvleče iz resničnih in ustvarjenih vzorcev. To vodi do stabilnejšega treninga in zmanjšuje propad načina s spodbujanjem generatorja, da zajame statistiko višjega reda.
- Izguba generatorja: Zmanjšajte $$ \ | \ text {funkcije} (x) - \ text {funkcije} (g (z)) \ | $$, kjer se funkcije izvlečejo na neki plasti diskriminatorja.
Način iskanja izgube
Ta izguba spodbuja raznolikost v ustvarjenih izhodih z izrecno kaznovalnim načinom propada. Primerja razdalje v latentnem prostoru in slikovnem prostoru med pari ustvarjenih vzorcev, kar spodbuja generator za proizvodnjo bolj raznolikih vzorcev.
- Izguba generatorja vključuje maksimiranje razdalje v izhodnem prostoru glede na razdaljo v latentnem prostoru med vzorčnimi pari.
Značilno za ujemanje in zaznavne izgube
Te izgube združujejo nasprotno izgubo z dodatnimi zaznavnimi ali značilnimi izgubami, izračunanimi z uporabo predhodno omrežij (npr. VGG omrežja). Takšne izgube uveljavljajo, ki ustvarjajo slike, ne samo da zavajajo diskriminatorja, ampak tudi ujemajo z zaznavnimi značilnostmi resničnih slik, kar vodi do ostrejših in bolj realističnih rezultatov.
- Generator minimizira tehtano vsoto nasprotne izgube in zaznavne/značilnosti izraza izgube.
Najmanj absolutna odstopanja (L1) in izgube najmanjših kvadratov (L2) v pogojnih GANS
V pogojnih Gans, ki se uporabljajo za naloge prevajanja slike, so dodatne izgube L1 ali L2 med ustvarjenimi in talno resnico slike vključene poleg nasprotnih izgub. Te izgube spodbujajo natančnost na ravni slikovnih pik in zmanjšujejo artefakte v rezultatih.
- Izguba generatorja = nasprotna izguba + $$ \ Lambda \ | G (z) - x \ | _1 $$ ali $$ \ lambda \ | G (z) - x \ | _2^2 $$ Kje je $$ x $$ ciljna slika.
Izguba relativistične povprečne gan (ragan)
Razširitev relativističnega GAN-a, Ragan uporablja povprečni diskriminatorski izhod za resnične in ponarejene slike za stabilizacijo treninga z zagotavljanjem bolj globalne primerjave in ne za vzorce. Ta pristop pomaga zmanjšati prekomerno samozavest pri napovedih diskriminatorjev in izboljšuje pretok naklona.
- Izguba vključuje diskriminatorske razlike med vzorcem in povprečnim izhodom na nasprotnih razredih.
Skupna izguba variacije
Pogosto v kombinaciji z nasprotno izgubo za spodbujanje prostorske gladkosti in zmanjšanje hrupa, popolna izguba niha kaznuje hitre spremembe intenzivnosti na ustvarjenih slikah, kar izboljšuje kakovost vida.
- Generator minimizira skupno normo variacije ustvarjenih slik skupaj z nasprotnimi izgubami.
Izguba gan samoupatov
Vključuje mehanizme samonapavanja v diskriminatorske in generatorske arhitekture, spreminja funkcije izgube, da odražajo pozornost, ki so pritegnjene za zajem odvisnosti dolgega dosega, kar pomaga pri ustvarjanju podrobnih in skladnih slik.
- Izgube ostajajo kot v standardnih GAN-u, vendar s samoupadajočim dopolnjenim omrežjem.
Mejna izguba za segmentacijske gane
V segmentacijskih Gansu lahko funkcije izgube vključujejo kazni, ki se zavedajo meja, za izboljšanje natančnosti v bližini robov objekta, ki združujejo nasprotno izgubo z mejnimi/robovskimi izrazi.
- Izguba generatorja vključuje cilje ujemanja meja skupaj s tradicionalnimi nasprotnimi komponentami.
Kontrastivna izguba v Gansu
Nekatere različice GAN vključujejo komponente kontrastnih izgub, katerih cilj se je naučiti boljše vdelave funkcij, tako da se podobne vzorce približajo in si prizadevajo za različne vzorce, kar izboljšuje učenje reprezentacije v okvirih GAN.
- kontrastivna izguba, dodana ciljem generatorja ali diskriminatorja za izboljšanje kakovosti funkcij.
Izguba GAN na osnovi energije
GAN-ji na energiji oblikujejo diskriminator kot energetsko funkcijo, ki resničnim podatkom in visoki energiji dodeli nizko energijo za ponarejene podatke. Izguba treninga optimizira energijsko pokrajino in ne izrecne verjetnosti klasifikacije, kar lahko privede do stabilnejšega usposabljanja.
- Energija diskriminatorja, ki je zmanjšana za resnične vzorce, maksimirana za ponarejene vzorce; Generator optimizira za zmanjšanje energije na ustvarjenih vzorcih.
Ti primeri ponazarjajo bogato raznolikost funkcij izgube, ki so bile razvite za izboljšanje stabilnosti, uspešnosti in rezultatov usposabljanja GANS. Vsaka funkcija izgube cilja na posebne izzive ali značilnosti porazdelitve podatkov, saj številne sodobne GAN arhitekture pogosto združujejo več pogojev izgube za najboljše rezultate. Nenehni razvoj teh funkcij izgube odraža stalni napredek v raziskovanju nasprotnega učenja.