Generatiivsed võistlusvõrgud (GAN) kasutavad palju kahjufunktsioone, mis ületavad algse standardse GAN -i kaotuse, millest igaüks on mõeldud lahendamiseks selliste väljakutsetega nagu koolitus ebastabiilsus, režiimi kokkuvarisemine, kaduvad gradiendid ja lähenemisküsimused. Allpool on toodud peamised näited mitmekesiste, laialdaselt uuritud ja praktiliselt kasutatavate GAN -kaotuse funktsioonide kohta:
Standard GAN-kaotus (Min-max kaotus)
Goodfellow et al. formuleerib generaatori ja diskrimineerija vahel kahe mängija minimaxi mängu. Diskrimineerija üritab reaalseid ja võltsitud andmeid õigesti klassifitseerida, maksimeerides õigete siltide määramise tõenäosust, samal ajal kui generaator üritab diskrimineerijat lollitada, minimeerides diskrimineerija tõenäosust võltsiandmete õigesti tuvastamisega. Selle saab kirjutada järgmiselt:
- Diskrimineerija kaotus: maksimeeri $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Generaatori kaotus: minimeerige $$ \ log (1 - d (g (z))) $$
Kuid see kaotus kannatab sageli generaatori küllastumise all, kus generaator saab kaduvaid gradiente ja lakkab treeningu ajal paranema.
Mittekülastav gaani kaotus
Tavaline variant, mis parandab treeningu stabiilsust, kohandab generaatori eesmärki, et maksimeerida $$ \ log D (G (z)) $$ selle asemel, et minimeerida $$ \ log (1 - d (g (z))) $$. See alternatiiv väldib generaatori küllastumist, pakkudes treeningu alguses tugevamaid gradiente. See ümber kujundab generaatori, et maksimeerida diskrimineerija tõenäosust, et märgistada genereeritud proove reaalseks.
Wasserstein Gani kaotus
2017. aastal kasutusele võetud Wassersteini kaotus asendab tavalist binaarset klassifikatsiooni diskrimineerijat "kriitikuga", mis hindab proove pidevas skaalal, selle asemel, et neid reaalseks või võltsiks liigitada. Kaotus põhineb tegeliku ja genereeritud jaotuste vahelisel maapinnal (Wasserstein-1), mis pakub sujuvamaid gradiente ja leevendab režiimi kokkuvarisemist ja kaduvaid gradiente. Diskrimineerija väljundkiht muudetakse sigmoidsest aktiveerimisest lineaarseks ning lipschitzi järjepidevuse jõustamiseks võetakse kasutusele kaalu lõikamine või gradiendi karistus:
- Kriitiku kaotus: maksimeeri $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (z)] $ $
- Generaatori kaotus: minimeerige $$ \ MATHBB {E} _ {Z \ SIM P_Z} [d (g (z))] $$
See kaotusefunktsioon on muutunud standardiks stabiilsema GAN -koolituse jaoks.
Vähimajad kaovad
2016. aastal pakutud kahjum asendab binaarse rist-entroopia kaotuse väikseimate ruutude kaotusega, et karistada proove, mis asuvad otsustuspiirist kaugel tugevamalt. Diskrimineerija üritab taandada reaalsed proovid 1 ja võltsitud proovideni 0 -ni, kasutades keskmist ruutvea, samas kui generaator üritab genereerida proove, mille ennustused on lähedased 1. See vähendab kaduvaid gradiente ja parandab gradiendi kvaliteeti, aidates generaatoril paremini õppida:
- Diskrimineerija kaotus: minimeerige $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Generaatori kaotus: minimeerige $$ (d (g (z)) - 1)^2 $$
See lähenemisviis annab sageli kõrgema kvaliteediga pilte ja stabiilsemat treeningut.
Liigendikaotus
Hingekaotus on veel üks võistleva kahjumi variant, mis käsitleb diskrimineerija koolitust pigem marginaalipõhise klassifikatsiooniprobleemina kui tõenäosusliku klassifikatsiooniprobleemina. Diskrimineerijat koolitatakse liigesekadu maksimeerimiseks, lükates reaalsed proovid marginaali kohal ja võltsitud proovide kohal, samal ajal kui generaator proovib genereeritud proovide diskrimineerija skoori maksimeerida. Ametlikult:
- Diskrimineerija kaotus: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Generaatori kaotus: $$- D (g (z)) $$
Hingekaotust on kasutatud populaarsetes kvaliteetsetes GAN-arhitektuurides, näiteks Biggan, et edendada paremat gradiendi voogu ja stabiilsust.
Wassersteini gradiendi karistus (WGAN-GP)
Wasserstein Gani paranemine, mis asendab kaalu lõikamise gradiendi karistusega, et lipschitzi piirangu tõhusamaks jõustada. Gradiendi karistus lisab reguleerimismõistet, mis karistab diskrimineerija gradiendi normi, mis kaldub 1 -st interpoleeritud proovidest reaalse ja võltsi vahel. See suurendab stabiilsust ja koolituse lähenemist.
- Kaotus sama nagu WGAN Plus $$ \ lambda \ mathbb {e} _ {\ müts {x> [(\ | \ nabla _ {\ hat {x> d (\ müts {x}) \ | _2 - 1)^2] $ $ gradient mõiste
Siin on $$ \ Hat {x} $$ proovid, mis on interpoleeritud reaalsete ja genereeritud andmete vahel.
Relativistlik gaani kaotus
See kaotus võrdleb diskrimineerija väljundeid reaalsete ja võltsitud proovide korral relativistlikul viisil, mitte absoluutsetel tõenäosustel. Diskrimineerija ennustab, kas tegelikud andmed on realistlikumad kui võltandmed, ja generaator treenib vastavalt, mis võib põhjustada paremaid gradiente ja vähem režiimi kokkuvarisemist.
- diskrimineerija üritab maksimeerida $$ \ log \ sigma (d (x) - d (g (z))) $$, kus $$ \ Sigma $$ on Sigmoid
- Generaator proovib maksimeerida $$ \ log \ Sigma (d (g (z)) - d (x)) $$
See suhteline perspektiiv surub generaatori ja diskrimineerijat proovide otsesemalt hindama.
Ganeetiline kaotus
Hiljuti välja töötatud geneetilise programmeerimismeetodi kaudu optimaalsele kahjumi kujundamisele näitab Ganeetiline kaotus paremat jõudlust ja stabiilsust erinevatel andmekogumitel, sealhulgas meditsiinilistel piltidel. Ganeetiline kaotus integreerib binaarse rist-entroopia elemendid iseregulatsiooniga, parandades treeningu reprodutseeritavust ja vähendades režiimi kokkuvarisemist. Seda on tõhusalt rakendatud piltide genereerimisel ja anomaalia tuvastamiseks meditsiinilises kuvamises, edestades stabiilsuse ja kvaliteedi traditsioonilisi kahjufunktsioone. Parandatud tulemuste saavutamiseks saab kahjumit kohandada nii generaatori kui ka diskrimineerija treeningrežiimide jaoks.
Piiride tasakaal gan (algus) kaotus
See kaotus tasakaalustab generaatorit ja diskrimineerijat tasakaalutermini kaudu, mis mõõdab rekonstrueerimise kadude suhet automaatroderi diskrimineerimisel. Alustatud kasutab kaotusfunktsiooni, mis põhineb diskrimineerija rekonstrueerimisveal, edendades kvaliteetse pildi genereerimist generaatori ja diskrimineerija võimsuse vahelise tasakaalu otsimisprotsessi kaudu.
1
- Generaator üritab minimeerida võltsproovide diskrimineerija rekonstrueerimisviga
Alustas treenimisstabiilsust kontrollitud kompromissiparameetriga.
Dranani kaotus
Variatsioon, mille eesmärk on parandada algset GAN -i, muutes gradiendi karistust, mida rakendatakse ainult andmekollektori ümber, mida nimetatakse draaniks (diskrimineerija reguleerimine gradiendi karistusega). See karistab diskrimineerija gradiente müraga häiritud tegelike andmete ümber, et soodustada sujuvamaid otsustuspiire ja vähendada režiimi kokkuvarisemist.
- Kaotus, mis sarnaneb WGAN-GP-ga, kuid kohaliku gradiendi karistusega reaalsete andmepunktide ümber.
Funktsioonide sobitamise kaotus
Selle asemel, et kadude jaoks diskrimineerija väljundit otseselt kasutada, koolitatakse generaatorit, et see sobiks diskrimineerija abil reaalsest ja genereeritud proovidest ekstraheeritud vaheomaduste järgi. See viib stabiilsema treenimiseni ja vähendab režiimi kokkuvarisemist, julgustades generaatorit kõrgema järgu statistikat hõivama.
- Generaatori kaotus: minimeerige $$ \ | \ tekst {funktsioonid} (x) - \ tekst {funktsioonid} (g (z)) \ | $$, kus funktsioone ekstraheeritakse diskrimineerija mõnes kihis.
Režiim kaotuse otsimine
See kaotus soodustab genereeritud väljundite mitmekesisust, karistades režiimi selgesõnaliselt. See võrdleb latentse ruumi ja pildiruumi vahemaid genereeritud proovide paaride vahel, edendades generaatori mitmekesisemate proovide saamiseks.
- Generaatori kaotus hõlmab terminit maksimeerimismaterjali väljundruumis võrreldes proovipaaride latentses ruumis.
Funktsioonide sobitamine ja tajumine kaotused
Need kaotused ühendavad võistluslanguse täiendavate taju- või funktsioonipõhiste kaotustega, mis arvutatakse eelkultinud võrkude abil (nt VGG-võrgud). Sellised kaotused jõustavad, et genereeritud pildid mitte ainult ei lollita diskrimineerijat, vaid vastavad ka reaalsete piltide tajutavatele omadustele, mis põhjustab teravamaid ja realistlikumaid väljundeid.
- Generaator minimeerib võistleva kaotuse kaalutud summa ja tajutava/funktsiooni vastavate kaotuste terminid.
Kõige vähem absoluutseid kõrvalekaldeid (L1) ja väikseimate ruutude (L2) kaotused tingimuslikes gaanis
Kujutise tõlkeülesannete täitmiseks kasutatavates tingimuslikes GAN -des lisatakse võistlevate kaotuste kõrvale täiendavaid L1 või L2 kadusid genereeritud ja maapealse tõe piltide vahel. Need kaotused soodustavad pikslitaseme täpsust ja vähendavad väljundite esemeid.
- Generaatori kaotus = võistleva kaotus + $$ \ lambda \ | G (z) - x \ | _1 $$ või $$ \ lambda \ | G (z) - x \ | _2^2 $$ kus $$ x $$ on sihtpilt.
Relativistlik keskmine gaani (ragan) kaotus
Relativistliku Gani laiendus, Ragan kasutab treeningu stabiliseerimiseks reaalsete ja võltsitud piltide keskmist diskrimineerija väljundit, pakkudes pigem globaalset võrdlust kui proovivõtmist. See lähenemisviis aitab vähendada diskrimineerija prognooside ülemäärast enesekindlust ja parandab gradiendi voogu.
- Kaotus hõlmab diskrimineerija väljundi erinevusi valimi ja keskmise väljundi vahel vastasklassides.
Kogu variatsioonikaotus
Sageli kombineerituna vastava kaduga, et soodustada ruumilist sujuvust ja vähendada müra, karistab kogu variatsioonikaotus genereeritud piltide kiirete intensiivsuse muutusi, parandades visuaalset kvaliteeti.
- Generaator minimeerib genereeritud piltide täieliku variatsiooni normi koos võistleva kaotusega.
Enesejälgimine Gan kaotus
Hõlmab diskrimineerija ja generaatori arhitektuurides enesejälgimismehhanisme, mis on muutvad kaotuse funktsioonid, et kajastada tähelepanu kaalutud funktsioone pikamaa sõltuvuste jäädvustamiseks, mis aitab genereerida detailseid ja sidusaid pilte.
- Kahjud püsivad nagu tavalistes GANS-is, kuid iseenda jälgimisega võrkudega.
Segmenteerimise gaaside piiride kadu
Segmenteerimis GAN-is võivad kahjumisfunktsioonid sisaldada piiride teadvusalasid objektide servade lähedal täpsuse parandamiseks, ühendades võistleva kaotuse piiri/servate teadmiste tingimustega.
- Generaatori kaotus sisaldab piiride sobitamise eesmärke ja traditsioonilisi võistluskomponente.
Kontrastne kaotus gangites
Mõned GAN -i variandid hõlmavad kontrastilisi kaotuse komponente, mille eesmärk on õppida paremaid funktsioone manustamist, viies sarnased proovid lähemale ja lükates erinevad proovid eristades, suurendades esindatuse õppimist GAN -i raamistike piires.
- Funktsiooni kvaliteedi parandamiseks on generaatorile või diskrimineerija eesmärkidele lisatud kontrastiline kahju.
Energy-based GAN Loss
Energiapõhised GAN-id sõnastavad diskrimineerija energiafunktsioonina, mis omistab reaalsetele andmetele madala energia ja suure energia andmete jaoks. Treeningukahjum optimeerib energiamaastiku, mitte selgesõnalisi klassifitseerimise tõenäosusi, mis võib viia stabiilsema koolituseni.
- diskrimineerija energia minimeeritakse reaalsete proovide jaoks, maksimeeritud võltsproovide jaoks; Generaator optimeerib, et vähendada energiat genereeritud proovidel.
Need näited illustreerivad kahjumisfunktsioonide rikkalikku mitmekesisust, mis on välja töötatud GANS-i treeningu stabiilsuse, jõudluse ja rakendusspetsiifiliste tulemuste parandamiseks. Iga kaotusefunktsioon on suunatud andmejaotuse konkreetsetele väljakutsetele või omadustele, kusjuures paljud kaasaegsed GAN -arhitektuurid ühendavad parimate tulemuste jaoks sageli mitu kahjumit. Nende kaotusfunktsioonide pidev areng kajastab jätkuvaid edusamme võistlusõppe uurimisel.