Generaciniai prieštariniai tinklai (GANS) naudoja daugybę nuostolių funkcijų, viršijančių originalų standartinį GAN nuostolį, kiekvienas skirtas spręsti tokius iššūkius kaip mokymo nestabilumas, režimo žlugimas, nykstantys nuolydžiai ir konvergencijos problemos. Žemiau yra pagrindiniai įvairių, plačiai ištirtų ir praktiškai naudojamų GAN nuostolių funkcijų pavyzdžiai:
Standartinis „Gan“ praradimas („Min-Max Loss“)
Originalus „Gan“ praradimas iš 2014 m. Straipsnio, kurį pateikė Goodfellow ir kt. Formuliuoja dviejų žaidėjų „Minimax“ žaidimą tarp generatoriaus ir diskriminatoriaus. Diskriminatorius bando teisingai klasifikuoti tikrus ir netikrus duomenis, maksimaliai padidindamas teisingų etikečių priskyrimo tikimybę, o generatorius bando apgauti diskriminatorių, sumažindamas diskriminatoriaus tikimybę teisingai nustatyti padirbtus duomenis. Tai galima parašyti taip:
- Diskriminatoriaus praradimas: maksimaliai padidinkite $$ \ log d (x) + \ log (1 - d (g (z))) $ $ $$
- Generatoriaus praradimas: sumažinkite $$ \ log (1 - d (g (z))) $$
Tačiau šis nuostolis dažnai kenčia nuo generatoriaus prisotinimo, kai generatorius gauna nykstančius nuolydžius ir nustoja tobulėti mokymo metu.
Nepritariantis GAN praradimas
Įprastas variantas, pagerinantis mokymo stabilumą, pritaiko generatoriaus tikslą, vietoj to maksimaliai padidinti $ $ \ log d (g (z)) $ $, o ne sumažinti $$ \ log (1 - d (g (z))) $ $. Ši alternatyva išvengia generatoriaus prisotinimo, teikdama stipresnius nuolydžius ankstyvame treniruotėse. Tai pertvarko generatorių, nes maksimaliai padidina diskriminatoriaus tikimybę, kad ženklinimas sugeneruotų mėginių kaip realūs.
Wassersteino Gano praradimas
„Wasserstein“ praradimas, pristatytas 2017 m., Pakeičia standartinį dvejetainės klasifikavimo diskriminatorių „kritiku“, kuris reitinguoja ištisinio masto pavyzdžius, o ne klasifikuoja juos kaip tikrą ar netikrą. Nuostolis pagrįstas žemės judėjimo (Wasserstein-1) atstumu tarp tikrojo ir sugeneruoto pasiskirstymo, kuris suteikia sklandesnius gradientus ir mažina režimo griūtį ir nykstančius gradientus. Diskriminatoriaus išvesties sluoksnis keičiamas nuo Sigmoido aktyvacijos į linijinį, o svorio kirpimo ar gradiento bausmė įvedama siekiant įgyvendinti „Lipschitz“ tęstinumą:
- kritikų nuostoliai: maksimaliai padidinkite $$ \ Mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$ $$
- Generatoriaus praradimas: sumažinkite $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Ši praradimo funkcija tapo stabilesnių GAN mokymo standartu.
Mažiausiai kvadratų nuostoliai
Siūlomas 2016 m., Šis nuostolis pakeičia dvejetainę kryžminio entropijos nuostolius mažiausiai kvadratų nuostoliais, kad būtų nubaustas pavyzdžius, kurie yra toli nuo sprendimo ribos. Diskriminatorius bando regresuoti realius mėginius iki 1 ir padirbtų mėginių iki 0, naudodamas vidutinę kvadratinę paklaidą, tuo tarpu generatorius bando generuoti mėginius, kurių prognozės yra beveik 1. Tai sumažina nykstančius nuolydžius ir pagerina nuolydžio kokybę, padėdamas generatoriui geriau išmokti:
- Diskriminatoriaus praradimas: sumažinkite $$ (d (x) - 1)^2 + (d (g (z)))^2 $ $
- Generatoriaus praradimas: sumažinkite $$ (d (g (z)) - 1)^2 $$
Šis požiūris dažnai suteikia aukštesnės kokybės vaizdus ir stabilesnius mokymus.
Vyrių praradimas
Vyrių praradimas yra dar vienas prieštaringų nuostolių variantas, kuris diskriminatoriaus mokymus traktuoja kaip maržos klasifikavimo problemą, o ne tikimybinę. Diskriminatorius yra išmokytas maksimaliai padidinti vyrių nuostolius, pastumdamas tikrus mėginius virš paraštės ir padirbtų mėginių po juo, o generatorius bando maksimaliai padidinti generuojamų mėginių diskriminatoriaus balus. Oficialiai:
- Diskriminatoriaus praradimas: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Generatoriaus praradimas: $$- D (G (Z)) $$
Vyrių nuostoliai buvo naudojami populiariose aukštos kokybės GAN architektūrose, tokiose kaip „Biggan“, siekiant skatinti geresnį nuolydžio srautą ir stabilumą.
Wassersteino gradiento bausmė (WGAN-GP)
Wassersteino gano pagerėjimas, kuris pakeičia svorio kirpimą gradiento bausme, kad būtų galima efektyviau įgyvendinti „Lipschitz“ apribojimą. Gradiento bausmė prideda sureguliavimo terminą, kuris nubaustų diskriminatoriaus gradiento normą, nukrypstančią nuo 1 iš interpoliuotų mėginių tarp realaus ir netikro. Tai padidina stabilumą ir mokymo konvergenciją.
- praradimas tas pats, kaip wgan plius $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $ $ $ $ gradient baudžiamasis terminas (\ hat {x}) \ |
Čia $$ \ hat {x} $$ yra pavyzdžiai, interpoliuoti tarp realių ir sugeneruotų duomenų.
Relativistinis Gano praradimas
Šis nuostolis lygina diskriminatoriaus išėjimus realiuose ir padirbtuose mėginiuose reliatyvistiniu būdu, o ne absoliučiomis tikimybėmis. Diskriminatorius prognozuoja, ar realūs duomenys yra realesni nei netikri duomenys, o generatorius atitinkamai treniruojasi, o tai gali sukelti geresnius nuolydžius ir mažesnį režimo žlugimą.
- diskriminatorius bando maksimaliai padidinti $$ \ log \ sigma (d (x) - d (g (z))) $$, kur $$ \ sigma $$ yra sigmoidinis
- Generatorius bando maksimaliai padidinti $$ \ log \ sigma (d (g (z)) - d (x)) $$
Ši santykinė perspektyva verčia generatorių ir diskriminatorių vertinti pavyzdžius vienas kitam tiesiogiai.
Ganetinis praradimas
Neseniai sukurtas genetinio programavimo požiūris į optimalų nuostolių dizainą, „Ganetic Loss“ rodo puikų našumą ir stabilumą įvairiuose duomenų rinkiniuose, įskaitant medicininius vaizdus. Ganetinis praradimas integruoja dvejetainės kryžminės entropijos elementus su savireguliarizacija, pagerina treniruočių atkuriamumą ir sumažina režimo žlugimą. Jis buvo veiksmingai pritaikytas vaizdų generavimui ir anomalijos aptikimui atliekant medicininį vaizdą, pralenkdamas tradicines stabilumo ir kokybės praradimo funkcijas. Nuostolis gali būti pritaikytas tiek generatoriaus, tiek diskriminatoriaus mokymo režimams, kad būtų galima patobulinti rezultatus.
Ribinė pusiausvyros Gan (pradėta) praradimas
Šis nuostolis subalansuoja generatorių ir diskriminatorių per pusiausvyros terminą, kuris matuoja rekonstrukcijos nuostolių santykį autocoderio diskriminatoriuje. Pradėta naudoti nuostolių funkciją, pagrįstą diskriminatoriaus rekonstrukcijos klaida, skatinančia kokybės vaizdo generavimą per pusiausvyrą, siekiančią proceso tarp generatoriaus ir diskriminatoriaus galios.
- Diskriminatoriaus praradimas, pagrįstas automatinio kodavimo rodiklio rekonstravimo klaida realiems ir padirbtoms pavyzdžiams
- Generatorius bando sumažinti netikrų pavyzdžių diskriminatoriaus rekonstrukcijos klaidą
Pradėtas patobulinti mokymo stabilumą naudojant kontroliuojamą kompromiso parametrą.
Dragano praradimas
Variacija, kuria siekiama pagerinti originalų GAN, keičiant gradiento bausmę, taikoma tik aplink duomenų kolektorių, vadinamą Dragan (diskriminatoriaus sureguliavimas su gradiento bausme). Tai baudžia diskriminatoriaus gradientus, susijusius su realiais duomenimis, sutrikusiais triukšmu, siekiant paskatinti sklandesnes sprendimų ribas ir sumažinti režimo žlugimą.
- Nuostolis, panašus į WGAN-GP, tačiau su vietine gradiento bausme dėl trikdančių realių duomenų taškų.
Funkcijos atitikimo praradimas
Užuot tiesiogiai naudodamiesi diskriminatoriaus išėjimu nuostoliams, generatorius yra mokomas suderinti tarpines savybes, išgautas iš realių ir generuojamų pavyzdžių diskriminatoriaus. Tai lemia stabilesnį mokymą ir sumažina režimo griūtį, skatinant generatorių užfiksuoti aukštesnės eilės statistiką.
- Generatoriaus praradimas: sumažinkite $$ \ | \ TEXT {Feature} (x) - \ TEXT {Feature} (G (Z)) \ | $$ Kur funkcijos išgaunamos tam tikrame diskriminatoriaus sluoksnyje.
Režimas, siekiantis prarasti
Šis nuostolis skatina generuojamų rezultatų įvairovę aiškiai baudžiant režimo žlugimą. Tai lygina atstumus latentinėje erdvėje ir vaizdo erdvėje tarp sugeneruotų mėginių porų, skatinant generatorių, kad būtų galima gauti įvairesnių mėginių.
- Generatoriaus praradimas apima terminų maksimalų atstumą išėjimo erdvėje, palyginti su atstumu latentinėje erdvėje tarp mėginių porų.
Funkcijos atitikimas ir suvokimo nuostoliai
Šie nuostoliai sujungia prieštarinius praradimus su papildomais suvokimo ar funkcijomis pagrįstais nuostoliais, apskaičiuotais naudojant išankstinius tinklus (pvz., VGG tinklus). Tokie nuostoliai skatina vaizdus ne tik apgauti diskriminatorių, bet ir suderinti tikrų vaizdų suvokimo ypatybes, todėl susidarė aštresni ir realistiškesni rezultatai.
- Generatorius sumažina svertinę prieštaringų nuostolių ir suvokimo/funkcijų atitikimo nuostolių terminų sumą.
Mažiausiai absoliutūs nuokrypiai (L1) ir mažiausi kvadratai (L2) nuostoliai sąlyginiuose GANS
Vaizdo vertimo užduotims, naudojamoms sąlyginiams GANS, papildomi L1 arba L2 nuostoliai tarp sugeneruotų ir žemės tiesos vaizdų yra įtraukiami kartu su prieštariniais nuostoliais. Šie nuostoliai skatina pikselių lygio tikslumą ir mažina išėjimų artefaktus.
- Generatoriaus praradimas = prieštaringos nuostoliai + $$ \ lambda \ | G (z) - x \ | _1 $$ arba $$ \ lambda \ | G (z) - x \ | _2^2 $$, kur $$ x $$ yra tikslinis vaizdas.
Reliatyvistinis vidutinis Gan (Ragan) praradimas
Relativistinio Gano pratęsimas Raganas naudoja vidutinį realių ir netikrų vaizdų diskriminatoriaus išvestį, kad stabilizuotų treniruotes, pateikdamas labiau globalų palyginimą, o ne imtį. Šis požiūris padeda sumažinti per didelį pasitikėjimą diskriminatoriaus prognozėmis ir pagerina gradiento srautą.
- Nuostolis apima diskriminatoriaus išvesties skirtumus tarp imties ir vidutinės išvesties priešingose klasėse.
Bendras variacijų praradimas
Dažnai derinamas su prieštaringu praradimu, siekiant skatinti erdvinį sklandumą ir sumažinti triukšmą, bendras variacijų praradimas nubaustų greitus intensyvumo pokyčius sugeneruotuose vaizduose ir pagerina vizualinę kokybę.
- Generatorius sumažina bendrą generuojamų vaizdų variacijų normą kartu su prieštaringu praradimu.
Savarankiško požiūrio praradimas
Įtraukia savęs lankymo mechanizmus į diskriminatorių ir generatorių architektūras, modifikuodamas nuostolių funkcijas, kad atspindėtų dėmesio svertines savybes, kad būtų galima užfiksuoti tolimojo nuotolio priklausomybes, o tai padeda sukurti išsamius ir nuoseklius vaizdus.
- Nuostoliai išlieka kaip standartiniuose GANS, tačiau su savarankiškais tinklais.
Segmentų GANS ribų praradimas
Segmentavimo GANS nuostolių funkcijose gali būti ribinėse baudos, siekiant pagerinti tikslumą šalia objekto kraštų, derinant prieštaringą praradimą su ribiniais/kraštais suprantamais terminais.
- Generatoriaus praradimas apima ribų atitikimo tikslus kartu su tradiciniais prieštaringais komponentais.
Kontrastinis GANS praradimas
Kai kurie GAN variantai apima kontrastingus nuostolių komponentus, kuriais siekiama išmokti geresnių funkcijų įterpimo, priartinant panašius pavyzdžius ir išstumdami skirtingus mėginius, sustiprindami vaizdų mokymąsi GAN sistemose.
- Kontrastinis nuostolis, pridedamas prie generatoriaus ar diskriminatoriaus tikslų, siekiant pagerinti funkcijų kokybę.
Energijos pagrindu pagamintas GAN nuostolis
Energijos pagrindu pagamintos GAN suformuluoja diskriminatorių kaip energijos funkciją, kuri padeda mažai energijos realiems duomenims ir didelę energiją padirbtam duomenims. Treniruotės praradimas optimizuoja energijos kraštovaizdį, o ne aiškias klasifikavimo tikimybes, o tai gali sukelti stabilesnį mokymą.
- Diskriminatoriaus energija, sumažinta realiems mėginiams, maksimaliai padidinta padirbtų mėginių; Generatorius optimizuoja, kad sumažintų energiją generuojamuose mėginiuose.
Šie pavyzdžiai iliustruoja turtingą nuostolių funkcijų įvairovę, sukurtą siekiant pagerinti Ganso mokymo stabilumą, našumą ir konkrečias taikymo rezultatus. Kiekviena nuostolių funkcija nukreipia specifinius duomenų paskirstymo iššūkius ar charakteristikas, nes daugelis šiuolaikinių GAN architektūros dažnai derina kelis praradimo terminus siekiant geriausių rezultatų. Nuolatinė šių praradimo funkcijų raida atspindi nuolatinį prieštaringų mokymosi tyrimų pažangą.