Tud -e példákat adni a GAN -ban alkalmazott egyéb veszteségfüggvényekről

Standard GaN veszteség (min-max veszteség)
Az eredeti GAN -veszteség a Goodfellow et al. A generátor és a diszkriminátor között egy kétjátékos Minimax játékot fogalmazza meg. A diszkriminátor megpróbálja helyesen osztályozni a valós és hamis adatokat azáltal, hogy maximalizálja a helyes címkék hozzárendelésének valószínűségét, miközben a generátor megpróbálja becsapni a diszkriminátort azáltal, hogy minimalizálja a diszkriminátor valószínűségének valószínűségét a hamis adatok helyének megfelelő azonosítására. Ez írható:

- Diszkriminátor veszteség: maximalizálja a $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Generátor veszteség: Minimalizálja a $$ \ naplót (1 - D (G (Z))) $$

Ez a veszteség azonban gyakran a generátor telítettségétől szenved, ahol a generátor eltűnési gradienseket kap, és az edzés során abbahagyja a javulást.

Nem telített GaN veszteség
Egy általános változat, amely javítja az edzési stabilitást, a generátor célkitűzését a $$ \ log d (g (z)) $$ maximalizálása helyett a $$ \ log (1 - D (G (Z))) $$ minimalizálása helyett. Ez az alternatíva elkerüli a generátor telítettségét azáltal, hogy az edzés korai szakaszában erősebb gradienseket biztosít. Újra átalakítja a generátort, hogy maximalizálja a diszkriminátor valószínűségét, hogy a jelölést generált mintákat valósként jelölje.

Wasserstein Gan veszteség
A 2017 -ben bevezetett Wasserstein -veszteség helyettesíti a szokásos bináris osztályozási diszkriminátort egy "kritikus" -ra, amely folyamatos skálán mintát pontoz, ahelyett, hogy valódi vagy hamisnak minősítené őket. A veszteség a Föld-Mover (Wasserstein-1) távolságon alapul a valós és a generált eloszlások között, ami simább gradienseket biztosít, és enyhíti az üzemmód összeomlását és az eltűnő gradienseket. A diszkriminátor kimeneti réteget a szigmoid aktiválásról lineárisra változtatják, és a Súlycsökkentés vagy a gradiens büntetés bevezetésre kerül a Lipschitz folytonosságának érvényesítésére:

- Kritikus veszteség: Maximalizálja a $$ \ MathBB {E} _ {X \ SIM P_ {Data> [D (x)] - \ MathBB {E} _ {Z \ SIM P_Z} [D (G (Z))] $$] $ $ $ $ $ $ $ $ $ $ $ $ \ \ MathBB {Z \ SIM P_Z} [D (X)] - \ MATHBB {Z {Z \ SIM P_Z} [X)] - \ MATHBB {Z {Z \ SIM P_Z}.
- Generátor veszteség: Minimalizálja a $$ \ MathBB {E} _ {Z \ SIM P_Z} [D (G (Z))] $$

Ez a veszteségi funkció a stabilabb GaN edzés szabványává vált.

A legkevesebb négyzet GaN veszteség
A 2016-ban javasolt veszteség helyettesíti a bináris kereszt-entrópia veszteséget a legkisebb négyzetvesztéssel, hogy bünteti a mintákat, amelyek messze vannak a döntési határtól. A diszkriminátor megkísérli a valós mintákat 1 -re és hamis mintákat 0 -ra értékelni, az átlagos négyzet hibával, míg a generátor megkísérel olyan mintákat generálni, amelyek előrejelzései közel állnak. Ez csökkenti a eltűnési gradienseket és javítja a gradiens minőségét, segítve a generátor jobb tanulását:

- Diszkriminátor veszteség: Minimalizálja a $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Generátor veszteség: Minimalizálja a $$ (d (g (z)) - 1)^2 $$

Ez a megközelítés gyakran magasabb minőségű képeket és stabilabb edzést eredményez.

Csuklópántos veszteség
A csuklópántos veszteség egy újabb versengő veszteségváltozat, amely a diszkriminátor edzést margin-alapú osztályozási problémaként kezeli, nem pedig valószínűségi problémát. A diszkriminátort arra képzik, hogy maximalizálja a csuklópántos veszteséget, és a valós mintákat egy margó fölé és hamis mintákat tolja az alatta, míg a generátor megpróbálja maximalizálni a diszkriminátor pontszámát a generált minták esetében. Formálisan:

- Diszkriminátor veszteség: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Generátor veszteség: $$- D (G (Z)) $$

A csuklópántos veszteséget olyan népszerű, magas színvonalú GaN architektúrákban alkalmazták, mint például a Biggan, hogy elősegítsék a jobb gradiens áramlást és a stabilitást.

Wasserstein gradiens büntetés (WGAN-GP)
A Wasserstein Gan javulása, amely helyettesíti a súlycsökkentést egy gradiens büntetéssel, hogy a Lipschitz kényszer hatékonyabban érvényesítse. A gradiens büntetés hozzáteszi egy olyan szabályozási kifejezést, amely bünteti a diszkriminátor gradiensének normáját, amely az 1 -től a valós és a hamis közötti interpolált mintákon eltér. Ez javítja a stabilitást és az edzés konvergenciáját.

.
Itt a $$ \ HAT {X} $$ a mintákat interpolálják a valós és a generált adatok között.

Relativista GaN veszteség
Ez a veszteség összehasonlítja a valós és hamis minták diszkriminátor kimeneteit relativista módon, nem pedig az abszolút valószínűséggel. A diszkriminátor megjósolja, hogy a valós adatok reálisabbak -e, mint a hamis adatok, és a generátor ennek megfelelően vonzza, ami jobb színátmenetekhez és kevesebb üzemmódos összeomláshoz vezethet.

- A diszkriminátor megpróbálja maximalizálni a $$ \ log \ sigma (d (x) - d (g (z))) $$, ahol $$ \ sigma $$ szigmoid
- A generátor megpróbálja maximalizálni a $$ \ log \ sigma (d (g)) - d (x)) $$

Ez a relatív perspektíva arra készteti a generátort és a diszkriminátort, hogy közvetlenül a mintákat egymással szemben értékelje.

Ganetikus veszteség
A közelmúltban az optimális veszteségtervezés genetikai programozási megközelítésével fejlesztették ki, a ganetikus veszteség kiváló teljesítményt és stabilitást mutat a különféle adatkészletek között, beleértve az orvosi képeket is. A ganetikus veszteség integrálja a bináris kereszt-entrópia elemeit az önszabályozással, javítva az edzés reprodukálhatóságát és csökkenti az üzemmód összeomlását. Az orvosi képalkotásban hatékonyan alkalmazták a kép előállítása és anomáliák kimutatására, felülmúlva a hagyományos veszteségfunkciókat a stabilitás és a minőség szempontjából. A veszteséget mind a generátor, mind a diszkriminátor képzési rendszerekhez adaptálhatjuk a jobb eredmények érdekében.

Határ egyensúlyi gan (kezdett) veszteség
Ez a veszteség kiegyensúlyozza a generátort és a diszkriminátort egy egyensúlyi kifejezésen keresztül, amely méri a rekonstrukciós veszteségek arányát egy autoencoder diszkriminátorban. A megkezdett veszteségfüggvényt használni a diszkriminátor rekonstrukciós hibáján alapuló, a minőségi képtermelés elősegítése a generátor és a diszkriminátor teljesítménye közötti egyensúlyi keresési folyamat révén.

- Diszkriminátor veszteség az autoencoder rekonstrukciós hiba alapján a valós és hamis minták esetében
- A generátor megpróbálja minimalizálni a diszkriminátor hamis minták rekonstrukciós hibáját

Megkezdődött az edzés stabilitásának javítása egy ellenőrzött kompromisszumos paraméterrel.

Dragan veszteség
Az eredeti GAN javítását célzó variáció a gradiens büntetés módosításával, amelyet csak az adatcsonk körül kell alkalmazni, úgynevezett Dragan (diszkriminátor -szabályozás gradiens büntetéssel). Bünteti a diszkriminátor -gradienseket a valós adatok körül, amelyek zavartak, hogy ösztönözzék a simább döntési határokat és csökkentsék az üzemmód összeomlását.

- A Wgan-GP-hez hasonló veszteség, de a zavart reáladatpontok körüli helyi gradiens büntetéssel.

Funkció -illesztési veszteség
Ahelyett, hogy közvetlenül a diszkriminátor kimenetet használnák a veszteséghez, a generátort arra képzik, hogy megfeleljen a diszkriminátor által a valós és generált mintákból kinyert közbenső tulajdonságokhoz. Ez stabilabb edzéshez vezet, és csökkenti az üzemmód összeomlását azáltal, hogy ösztönzi a generátort a magasabb rendű statisztikák rögzítésére.

- Generátor veszteség: Minimalizálja a $$ \ | \ text {funkciók} (x) - \ text {jellemzők} (g (z)) \ | $$, ahol a tulajdonságokat a diszkriminátor valamilyen rétegén extrahálják.

Üzemmódkeresési veszteség
Ez a veszteség arra ösztönzi a diverzitást a generált outputokban, azáltal, hogy kifejezetten bünteti az üzemmód összeomlását. Összehasonlítja a látens tér és a képtér távolságait a generált minták párjai között, elősegítve a generátort, hogy sokkal változatosabb mintákat állítson elő.

- A generátor vesztesége magában foglalja a kimeneti térben a távolság maximalizálását a látens térben a mintapárok között.

Jellemző és észlelési veszteségek
Ezek a veszteségek egyesítik a versenytárs veszteségeket az előrejelzett hálózatokkal (például VGG hálózatokkal) kiszámítva további észlelési vagy szolgáltatás-alapú veszteségekkel. Az ilyen veszteségek érvényesítik, hogy a képeket generáló képeket nemcsak becsapják a diszkriminátor, hanem a valódi képek észlelési tulajdonságai is, amelyek élesebb és realisztikusabb eredményekhez vezetnek.

.

A legkevésbé abszolút eltérések (L1) és a legkevésbé négyzetek (L2) veszteségek feltételes GAN -ban
A kép -transzlációs feladatokhoz használt feltételes GAN -kban a generált és a földi igazság képek közötti további L1 vagy L2 veszteségeket beépítik a versengés veszteségei mellett. Ezek a veszteségek ösztönzik a pixel-szintű pontosságot és csökkentik a kimenetek tárgyait.

- Generátor veszteség = Versverzió veszteség + $$ \ lambda \ | G (z) - x \ | _1 $$ vagy $$ \ lambda \ | G (z) - x \ | _2^2 $$, ahol a $$ x $ $ a célkép.

Relativista átlagos GAN (ragan) veszteség
A relativista GaN kiterjesztése, Ragan az átlagos diszkriminátor kimenetet használja a valós és hamis képek számára az edzés stabilizálására azáltal, hogy a minta szempontjából globális összehasonlítással rendelkezik. Ez a megközelítés elősegíti a diszkriminátor előrejelzéseinek túlkonjódását és javítja a gradiens áramlását.

- A veszteség magában foglalja a minta és az ellenkező osztályok átlagos outputja közötti diszkriminátor kimeneti különbségeit.

Teljes variációs veszteség
Gyakran kombinálva a versenytárs veszteséggel a térbeli simaság ösztönzése és a zaj csökkentése érdekében, a teljes variációs veszteség bünteti a generált képek gyors intenzitási változásait, javítva a vizuális minőséget.

- A generátor minimalizálja a generált képek teljes variációs normáját, valamint a versenytárs veszteségeket.

Öngyújtási Gan veszteség
Az öngyújtási mechanizmusokat magában foglalja a diszkriminátor és a generátor architektúrákban, a veszteségfüggvények módosítása érdekében, hogy tükrözze a figyelemre méltó tulajdonságokat a hosszú távú függőségek rögzítéséhez, ami elősegíti a részletes és koherens képek előállítását.

- A veszteségek továbbra is a szokásos GAN-oknál maradnak, de az önálló kiterjesztett hálózatokkal.

Határvesztés a szegmentálási GAN -okhoz
A szegmentálási GAN-okban a veszteségfunkciók magukban foglalhatják a határérték-tudományos szankciókat az objektum széleinek pontosságának javítása érdekében, kombinálva a versenytársak veszteségeket a határ/éltudatos feltételekkel.

- A generátor vesztesége magában foglalja a határok illesztési célokat, valamint a hagyományos versengő alkatrészeket.

Kontrasztos veszteség a GAN -ban
Egyes GaN variánsok kontrasztív veszteségkomponenseket tartalmaznak, amelyek célja a jobb funkciók beágyazásainak megtanulása azáltal, hogy hasonló mintákat közelebb hoznak, és különböznek egymástól eltérő mintákat, javítva a reprezentációs tanulást a GaN keretrendszereken belül.

- A generátorhoz vagy a diszkriminátor célkitűzésekhez hozzáadott kontrasztos veszteség a szolgáltatás minőségének javítása érdekében.

Energia-alapú GAN-veszteség
Az energiaalapú GAN-k a diszkriminátort olyan energiafüggvényként fogalmazzák meg, amely alacsony energiát hozzárendel a valós adatokhoz és a nagy energiát a hamis adatokhoz. A képzési veszteség optimalizálja az energiakörnyezetet, nem pedig az explicit osztályozási valószínűségeket, amelyek stabilabb edzéshez vezethetnek.

- A diszkriminátor energiája minimalizálva a valódi mintákhoz, maximalizálva a hamis mintákhoz; A generátor optimalizálja a generált minták energiájának csökkentését.