Generativa motsatsnätverk (GANS) använder många förlustfunktioner utöver den ursprungliga standard GAN -förlusten, var och en utformad för att hantera utmaningar som träningsinstabilitet, läges kollaps, försvinnande lutningar och konvergensproblem. Nedan finns viktiga exempel på olika, allmänt undersökta och praktiskt använda GaN -förlustfunktioner:
Standard GaN-förlust (min-max förlust)
Den ursprungliga GAN -förlusten från Seminal 2014 -papper av Goodfellow et al. Formulerar ett två-spelare MiniMax-spel mellan generatoren och diskriminatorn. Diskriminatorn försöker korrekt klassificera verkliga och falska data genom att maximera sannolikheten för att tilldela korrekta etiketter, medan generatorn försöker lura diskriminatorn genom att minimera sannolikheten för diskriminatorn korrekt identifiera falska data. Detta kan skrivas som:
- Diskriminatorförlust: Maximera $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Generatorförlust: Minimera $$ \ log (1 - d (g (z))) $$
Men denna förlust lider ofta av generatormättnad, där generatorn får försvinnande lutningar och slutar förbättras under träningen.
Icke-mättande GaN-förlust
En vanlig variant som förbättrar träningsstabiliteten justerar generatorens mål att istället maximera $$ \ log d (g (z)) $$ snarare än att minimera $$ \ log (1 - d (g (z))) $$. Detta alternativ undviker generatormättnad genom att tillhandahålla starkare lutningar tidigt i träningen. Den uppdaterar generatorn som maximerar diskriminatorens sannolikhet för att märka genererade prover som verkliga.
Wasserstein gan förlust
Wasserstein -förlusten, som introducerades 2017, ersätter standardbinär klassificeringsdiskriminator med en "kritiker" som får prover på en kontinuerlig skala snarare än att klassificera dem som verkliga eller falska. Förlusten är baserad på Earth-Mover (Wasserstein-1) avståndet mellan de verkliga och genererade fördelningarna, som ger jämnare lutningar och mildrar läge kollaps och försvinner gradienter. Diskriminatorens utgångsskikt ändras från sigmoidaktivering till linjär, och viktklippning eller gradientstraff introduceras för att upprätthålla Lipschitz -kontinuitet:
- kritikerförlust: maximera $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- Generatorförlust: minimera $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Denna förlustfunktion har blivit en standard för mer stabil GAN -träning.
Minsta kvadrater gan förlust
Föreslaget 2016 ersätter denna förlust den binära tvär antropiförlusten med minsta kvadratförlust för att straffa prover som ligger långt ifrån beslutsgränsen mer kraftigt. Diskriminatorn försöker regressera verkliga prover till 1 och falska prover till 0 med hjälp av det genomsnittliga kvadratfelet, medan generatorn försöker generera prover vars förutsägelser är nära 1. Detta minskar försvinnande gradienter och förbättrar gradientkvaliteten, vilket hjälper generatorn att lära sig bättre:
- Diskriminatorförlust: Minimera $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Generatorförlust: Minimera $$ (d (g (z)) - 1)^2 $$
Denna metod ger ofta bilder av högre kvalitet och mer stabil träning.
Gångjärnsförlust
Hjärnförlust är en annan motsatsförlustvariant som behandlar diskriminatorutbildning som ett marginalbaserat klassificeringsproblem snarare än ett probabilistiskt. Diskriminatorn är utbildad för att maximera gångjärnsförlusten och pressa riktiga prover över en marginal och falska prover under den, medan generatorn försöker maximera diskriminatorpoängen för genererade prover. Formellt:
- Diskriminatorförlust: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Generatorförlust: $$- d (g (z)) $$
Hjärnförlust har använts i populära GAN-arkitekturer av hög kvalitet som Biggan för att främja bättre gradientflöde och stabilitet.
Wasserstein Gradient Penalty (WGAN-GP)
En förbättring av Wasserstein GaN som ersätter viktklipp med en gradientstraff för att upprätthålla Lipschitz -begränsningen mer effektivt. Gradientstraffet lägger till en regulariseringsperiod som straffar normen för diskriminatorgradienten avvikande från 1 på interpolerade prover mellan verkliga och falska. Detta förbättrar stabilitet och träningskonvergens.
- förlust samma som wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $ gradientens straff term
Här $$ \ hat {x} $$ är prover interpolerade mellan verkliga och genererade data.
Relativistisk GaN -förlust
Denna förlust jämför diskriminatorutgångarna på verkliga och falska prover på ett relativistiskt sätt snarare än absoluta sannolikheter. Diskriminatorn förutspår om verkliga data är mer realistiska än falska data, och generatortågen i enlighet därmed, vilket kan leda till bättre lutningar och mindre läge kollaps.
- Diskriminator försöker maximera $$ \ log \ sigma (d (x) - d (g (z))) $$ där $$ \ sigma $$ är sigmoid
- Generator försöker maximera $$ \ log \ sigma (d (g (z)) - d (x)) $$
Detta relativa perspektiv driver generatoren och diskriminatorn att utvärdera prover mot varandra mer direkt.
Ganetisk förlust
Nyligen utvecklad genom en genetisk programmeringsmetod för optimal förlustdesign visar ganetisk förlust överlägsen prestanda och stabilitet över olika datasätt inklusive medicinska bilder. Ganetisk förlust integrerar element i binär tvärsentropi med självregularisering, förbättring av reproducerbarhet av träning och reducerande läges kollaps. Det har tillämpats effektivt för bildgenerering och anomalidetektering vid medicinsk avbildning, vilket överträffar traditionella förlustfunktioner i stabilitet och kvalitet. Förlusten kan anpassas för både generator- och diskriminatorutbildningsregimer för förbättrade resultat.
Gräns jämvikt GaN (började) förlust
Denna förlust balanserar generatoren och diskriminatorn genom en jämviktsperiod som mäter förhållandet mellan rekonstruktionsförluster i en autoencoderdiskriminator. Början använder en förlustfunktion baserad på rekonstruktionsfelet för diskriminatorn, vilket främjar kvalitetsbildgenerering genom en jämviktssökningsprocess mellan generator och diskriminatorkraft.
- Diskriminatorförlust baserat på autoencoderrekonstruktionsfel för riktiga och falska prover
- Generator försöker minimera diskriminatorens rekonstruktionsfel för falska prover
Började förbättra träningsstabiliteten med en kontrollerad avvägningsparameter.
Dra förlust
En variation som syftar till att förbättra den ursprungliga GaN genom att modifiera gradientstraffet som endast ska tillämpas runt datagrenröret, kallad Dragan (diskriminatorreglering med gradientstraff). Det straffar diskrimineringsgradienterna kring verkliga data som är störda med buller för att uppmuntra smidigare beslutsgränser och minska läges kollaps.
- Förlust som liknar WGAN-GP men med lokal gradientstraff kring störda verkliga datapunkter.
Funktionsmatchande förlust
Istället för att direkt använda diskriminatorutgången för förlust, utbildas generatorn för att matcha mellanliggande funktioner extraherade från verkliga och genererade prover av diskriminatorn. Detta leder till mer stabil träning och minskar läges kollaps genom att uppmuntra generatorn att fånga statistik med högre ordning.
- Generatorförlust: Minimera $$ \ | \ text {funktioner} (x) - \ text {funktioner} (g (z)) \ | $$ där funktioner extraheras vid ett lager av diskriminatorn.
Mode Söker förlust
Denna förlust uppmuntrar mångfald i de genererade utgångarna genom att uttryckligen straffa läges kollaps. Den jämför avstånd i latent utrymme och bildutrymme mellan par av genererade prover och främjar generatorn för att producera mer olika prover.
- Generatorförlust inkluderar maximering av avstånd i utgångsutrymmet relativt avståndet i latent utrymme bland provpar.
Funktionsmatchning och perceptuella förluster
Dessa förluster kombinerar motsatsförlust med ytterligare perceptuella eller funktionsbaserade förluster som beräknas med hjälp av pretrainerade nätverk (t.ex. VGG-nätverk). Sådana förluster verkställer som genererade bilder inte bara lurar diskriminatorn utan också matchar perceptuella funktioner hos riktiga bilder, vilket leder till skarpare och mer realistiska utgångar.
- Generator minimerar viktad summa av motsatsförlust och perceptuella/funktionsmatchande förlustvillkor.
Minst absoluta avvikelser (L1) och minsta kvadrater (L2) förluster i villkorade gans
I villkorade GAN som används för bildöversättningsuppgifter införlivas ytterligare L1- eller L2 -förluster mellan genererade och marks sanningsbilder tillsammans med motsatser. Dessa förluster uppmuntrar noggrannhet på pixelnivå och minskar artefakter i utgångar.
- Generatorförlust = motsatt förlust + $$ \ lambda \ | G (z) - x \ | _1 $$ eller $$ \ lambda \ | G (z) - x \ | _2^2 $$ där $$ x $$ är målbild.
Relativistisk genomsnittlig GaN (Ragan) förlust
Ragan är en förlängning av Relativistic GaN och använder den genomsnittliga diskriminatorproduktionen för riktiga och falska bilder för att stabilisera träning genom att ge en mer global jämförelse snarare än provmässigt. Detta tillvägagångssätt hjälper till att minska överförtroende i diskriminatorprognoser och förbättrar gradientflödet.
- Förlust innebär skillnader i diskriminator mellan ett prov och genomsnittlig produktion på motsatta klasser.
Total variationsförlust
Ofta i kombination med motsatsförlust för att uppmuntra rumslig jämnhet och minska brus, straffar total variationsförlust snabba intensitetsförändringar i genererade bilder, vilket förbättrar den visuella kvaliteten.
- Generator minimerar den totala variationsnormen för genererade bilder tillsammans med motsatsförlust.
Självupptagande GaN-förlust
Inkluderar självupptagningsmekanismer i diskriminator- och generatorarkitekturer och modifierar förlustfunktioner för att återspegla uppmärksamhetsviktade funktioner för att fånga långväga beroenden, vilket hjälper generering av detaljerade och sammanhängande bilder.
- Förluster kvarstår som i standardgans men med självupptagande nätverk.
Gränsförlust för segmenteringsgans
I segmenteringsgans kan förlustfunktioner inkludera gränsmedvetna påföljder för att förbättra noggrannheten nära objektkanter, och kombinera motsatsförlust med gräns-/kantmedvetna termer.
- Generatorförlust inkluderar gränsmatchande mål tillsammans med traditionella motsatsskomponenter.
Kontrastiv förlust i Gans
Vissa GaN -varianter innehåller kontrastiva förlustkomponenter som syftar till att lära sig bättre inbäddningar genom att föra liknande prover närmare och skjuta olika prover, vilket förbättrar representationsinlärningen inom GAN -ramverk.
- Kontrastiv förlust som läggs till generator- eller diskriminatormål för att förbättra funktionskvaliteten.
Energibaserad GaN-förlust
Energibaserade Gans formulerar diskriminatorn som en energifunktion som tilldelar låg energi till verklig data och hög energi till falska data. Utbildningsförlusten optimerar energilandskapet snarare än uttryckliga klassificeringssannolikheter, vilket kan leda till mer stabil träning.
- Diskriminatorenergi minimerade för riktiga prover, maximerade för falska prover; Generator optimerar för att minska energi på genererade prover.
Dessa exempel illustrerar den rika mångfalden av förlustfunktioner som utvecklats för att förbättra GANS träningsstabilitet, prestanda och applikationsspecifika resultat. Varje förlustfunktion riktar sig till specifika utmaningar eller egenskaper hos datadistributioner, med många moderna GAN -arkitekturer som ofta kombinerar flera förlustvillkor för bästa resultat. Den kontinuerliga utvecklingen av dessa förlustfunktioner återspeglar pågående framsteg inom motsatt lärande.