Puteți oferi exemple de alte funcții de pierdere utilizate în GANS

Pierderea standard a ganului (pierderea min-max)
Pierderea originală a ganului din lucrarea seminală din 2014 de Goodfellow și colab. Formulează un joc minimax cu doi jucători între generator și discriminator. Discriminatorul încearcă să clasifice corect datele reale și false prin maximizarea probabilității de a atribui etichete corecte, în timp ce generatorul încearcă să păcălească discriminatorul prin minimizarea probabilității discriminatorului care identifică corect datele false. Acest lucru poate fi scris ca:

- pierderea discriminatorului: maximizați $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Pierderea generatorului: minimizați $$ \ log (1 - d (g (z))) $$

Cu toate acestea, această pierdere suferă adesea de saturația generatorului, unde generatorul primește gradienți dispăruți și încetează să se îmbunătățească în timpul antrenamentului.

Pierderea ganului care nu satura
O variantă comună care îmbunătățește stabilitatea instruirii modifică obiectivul generatorului de a maximiza în schimb $$ \ log d (g (z)) $$, mai degrabă decât să minimizeze $$ \ log (1 - d (g (z))) $$. Această alternativă evită saturația generatorului, oferind gradiente mai puternice la începutul antrenamentului. Reformează generatorul ca maximizând probabilitatea discriminatorului de a eticheta eșantioane ca fiind reale.

Pierderea lui Wasserstein Gan
Pierderea Wasserstein, introdusă în 2017, înlocuiește discriminatorul standard de clasificare binară cu un „critic” care marchează probe la scară continuă, mai degrabă decât să le clasifice drept reale sau false. Pierderea se bazează pe distanța Pământului (Wasserstein-1) între distribuțiile reale și generate, care oferă gradienți mai netezi și atenuează prăbușirea modului și gradienții dispăruți. Stratul de ieșire a discriminatorului este schimbat de la activarea sigmoidului la liniar, iar tăierea în greutate sau penalizarea gradientului este introdusă pentru a aplica continuitatea Lipschitz:

- Pierdere critică: maximizați $$ \ MathBB {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- pierderea generatorului: minimizați $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$

Această funcție de pierdere a devenit un standard pentru o pregătire mai stabilă GaN.

Cel mai puțin pătrate pierderi gan
Propusă în 2016, această pierdere înlocuiește pierderea binară a întreprinderii încrucișate, cu pierderea celor mai mici pătrate pentru a penaliza eșantioanele care se află departe de granița deciziei. Discriminatorul încearcă să regreseze probe reale la 1 și eșantioane false la 0 folosind eroarea pătrată medie, în timp ce generatorul încearcă să genereze probe ale căror predicții sunt apropiate de 1. Acest lucru reduce gradienții dispăruți și îmbunătățește calitatea gradientului, ajutând generatorul să învețe mai bine:

- pierderea discriminatorului: minimizați $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Pierderea generatorului: minimizați $$ (d (g (z)) - 1)^2 $$

Această abordare produce adesea imagini de calitate superioară și o pregătire mai stabilă.

Pierderea balamalei
Pierderea balamalei este o altă variantă de pierdere adversă care tratează instruirea discriminatorilor ca o problemă de clasificare bazată pe marjă, mai degrabă decât una probabilistică. Discriminatorul este instruit pentru a maximiza pierderea balamalei, împingând probe reale peste o marjă și probe false sub ea, în timp ce generatorul încearcă să maximizeze scorurile discriminatorului pentru probe generate. Oficial:

- Pierdere discriminatoare: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Pierderea generatorului: $$- D (G (Z)) $$

Pierderea balamalelor a fost utilizată în arhitecturi populare GAN de înaltă calitate, cum ar fi Biggan, pentru a promova un flux și stabilitate mai bun.

Wasserstein Gradient Penalty (WGAN-GP)
O îmbunătățire a Wasserstein Gan care înlocuiește tăierea în greutate cu o penalizare a gradientului pentru a aplica mai eficient constrângerea Lipschitz. Pedeapsa gradientului adaugă un termen de regularizare care penalizează norma gradientului discriminatorului care se abate de la 1 pe eșantioane interpolate între real și fals. Acest lucru îmbunătățește stabilitatea și convergența de instruire.

- pierdere la fel ca wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$ Termen de penalizare gradient
Aici $$ \ hat {x} $$ sunt eșantioane interpolate între datele reale și cele generate.

Pierderea relativistă a ganului
Această pierdere compară rezultatele discriminatorului pe eșantioane reale și false într -un mod relativist, mai degrabă decât probabilități absolute. Discriminatorul prezice dacă datele reale sunt mai realiste decât datele false, iar generatorul se antrenează în consecință, ceea ce poate duce la gradienți mai buni și mai puțin colaps de mod.

- discriminator încearcă să maximizeze $$ \ log \ sigma (d (x) - d (g (z))) $$ unde $$ \ sigma $$ este sigmoid
- Generatorul încearcă să maximizeze $$ \ log \ sigma (d (g (z)) - d (x)) $$

Această perspectivă relativă împinge generatorul și discriminatorul să evalueze eșantioanele unul față de celălalt mai direct.

Pierdere ganetică
Dezvoltată recent printr -o abordare de programare genetică a proiectării optime a pierderilor, pierderea ganetică arată o performanță și stabilitate superioară pe seturi de date diverse, inclusiv imagini medicale. Pierderea ganetică integrează elemente de entropie binară cu autoregularizare, îmbunătățind reproductibilitatea antrenamentului și reducerea colapsului modului. Acesta a fost aplicat eficient pentru generarea de imagini și detectarea anomaliei în imagistica medicală, depășind funcțiile tradiționale de pierdere în stabilitate și calitate. Pierderea poate fi adaptată atât pentru regimurile de formare a generatorului, cât și pentru discriminatori pentru rezultate îmbunătățite.

Pierdere de echilibru de graniță (a început)
Această pierdere echilibrează generatorul și discriminatorul printr -un termen de echilibru care măsoară raportul dintre pierderile de reconstrucție la un discriminator autoenced. Început folosește o funcție de pierdere bazată pe eroarea de reconstrucție a discriminatorului, promovând generarea de imagini de calitate printr -un proces de căutare a echilibrului între puterea generatorului și discriminatorului.

- Pierderea discriminatorului bazată pe eroarea de reconstrucție a autocenderorului pentru eșantioane reale și false
- Generatorul încearcă să minimizeze eroarea de reconstrucție a discriminatorului a eșantioanelor false

A început să îmbunătățească stabilitatea instruirii cu un parametru de compromis controlat.

Pierdere Dragan
O variație care vizează îmbunătățirea GAN -ului inițial prin modificarea pedepsei gradientului care trebuie aplicată doar în jurul colectorului de date, numit Dragan (regularizarea discriminatorului cu pedeapsa cu gradient). Penalizează gradienții discriminatori în jurul datelor reale perturbate de zgomot pentru a încuraja limitele de decizie mai ușoare și a reduce prăbușirea modului.

- Pierdere similară cu WGAN-GP, dar cu pedeapsa cu gradientul local în jurul punctelor de date reale perturbate.

Pierderea de potrivire a caracteristicilor
În loc să folosească direct ieșirea discriminatorului pentru pierdere, generatorul este instruit pentru a se potrivi cu caracteristicile intermediare extrase din eșantioane reale și generate de către discriminator. Acest lucru duce la o pregătire mai stabilă și reduce prăbușirea modului prin încurajarea generatorului să capteze statistici de ordin superior.

- Pierderea generatorului: minimizați $$ \ | \ text {caracteristici} (x) - \ text {caracteristici} (g (z)) \ | $$ unde sunt extrase caracteristicile la un anumit strat al discriminatorului.

Modul care caută pierderi
Această pierdere încurajează diversitatea rezultatelor generate prin penalizarea în mod explicit a colapsului modului. Compara distanțele în spațiul latent și spațiul imaginii între perechile de probe generate, promovând generatorul pentru a produce probe mai diverse.

- Pierderea generatorului include termenul de maximizare a distanței în spațiul de ieșire în raport cu distanța în spațiul latent între perechile de probe.

Potrivire caracteristică și pierderi perceptive
Aceste pierderi combină pierderi adverse cu pierderi perceptive sau bazate pe caracteristici calculate folosind rețele pretrainate (de exemplu, rețele VGG). Astfel de pierderi aplică faptul că au generat imagini nu numai că păcălesc discriminatorul, ci și se potrivesc cu caracteristicile perceptive ale imaginilor reale, ceea ce duce la rezultate mai clare și mai realiste.

- Generatorul minimizează suma ponderată de pierderi adverse și termeni de pierdere de potrivire perceptivă/caracteristică.

Cele mai puțin abateri absolute (L1) și cele mai puțin pătrate (L2) pierderi în GAN -uri condiționate
În GAN -urile condiționate utilizate pentru sarcinile de traducere a imaginilor, pierderile suplimentare L1 sau L2 între imaginile de adevăr generate și de la sol sunt încorporate alături de pierderi adverse. Aceste pierderi încurajează precizia la nivel de pixeli și reduc artefactele în producții.

- Pierderea generatorului = pierderea adversă + $$ \ lambda \ | G (z) - x \ | _1 $$ sau $$ \ lambda \ | G (z) - x \ | _2^2 $$ unde $$ x $$ este imaginea țintă.

Pierderea relativistă medie a ganului (Ragan)
O extensie a GAN relativist, Ragan folosește ieșirea medie a discriminatorului pentru imagini reale și false pentru a stabiliza instruirea, oferind o comparație mai globală, mai degrabă decât o probă. Această abordare ajută la reducerea supraconfidenței în predicțiile discriminatoare și îmbunătățește fluxul de gradient.

- Pierderea implică diferențele de ieșire a discriminatorului între un eșantion și producția medie la clasele opuse.

Pierderea totală a variației
Adesea, combinată cu pierderea adversă pentru a încuraja netezimea spațială și a reduce zgomotul, pierderea totală a variației penalizează modificări de intensitate rapidă în imaginile generate, îmbunătățind calitatea vizuală.

- Generatorul minimizează norma de variație totală a imaginilor generate împreună cu pierderea adversă.

Pierderea GAN de auto-atenție
Încorporează mecanisme de auto-atenție în arhitecturile discriminatoare și generator, modificând funcțiile de pierdere pentru a reflecta caracteristicile ponderate de atenție pentru a capta dependențe de lungă durată, ceea ce ajută la generarea de imagini detaliate și coerente.

- Pierderile rămân la fel ca în GAN-urile standard, dar cu rețelele crescute de auto-atenție.

Pierdere de graniță pentru Gans de segmentare
În GAN-urile de segmentare, funcțiile de pierdere pot include sancțiuni conștiente de graniță pentru a îmbunătăți precizia în apropierea marginilor obiectului, combinând pierderea adversă cu termenii de limită/conștiente de margine.

- Pierderea generatorului include obiective de potrivire a granițelor împreună cu componentele adversare tradiționale.

Pierdere contrastivă la Gans
Unele variante GAN încorporează componente de pierdere contrastivă care vizează să învețe încorporarea mai bună a caracteristicilor, aducând eșantioane similare mai aproape și împingând eșantioane diferite, îmbunătățind învățarea reprezentării în cadrele GAN.

- Pierdere contrastivă adăugată la obiectivele generatorului sau discriminatorului pentru a îmbunătăți calitatea caracteristicilor.

Pierderea GaN pe bază de energie
GAN-urile bazate pe energie formulează discriminatorul ca o funcție energetică care atribuie energie scăzută datelor reale și energiei ridicate la datele false. Pierderea de instruire optimizează peisajul energetic, mai degrabă decât probabilitățile de clasificare explicite, ceea ce poate duce la o pregătire mai stabilă.

- Energia discriminatorului minimizată pentru eșantioane reale, maximizată pentru probe false; Generator optimizează pentru a reduce energia pe eșantioane generate.