Ģeneratīvie sacensību tīkli (GAN) izmanto daudzas zaudējumu funkcijas, kas pārsniedz sākotnējo standarta GAN zaudējumu, katrs ir paredzēts, lai risinātu tādus izaicinājumus kā apmācības nestabilitāte, režīma sabrukums, izzušanas slīpumi un konverģences problēmas. Zemāk ir galvenie daudzveidīgo, plaši izpētīto un praktiski izmantoto GaN zaudējumu funkciju piemēri:
Standarta GAN zaudējums (min-maksimālā zaudējums)
Sākotnējais GaN zaudējums no 2014. gada Seminal raksta Goodfellow et al. Formulē divu spēlētāju Minimax spēli starp ģeneratoru un diskriminatoru. Diskriminētājs mēģina pareizi klasificēt reālos un viltus datus, maksimāli palielinot pareizu etiķešu piešķiršanas iespējamību, savukārt ģenerators mēģina apmānīt diskriminatoru, samazinot diskriminatora iespējamību pareizi identificēt viltus datus. To var uzrakstīt šādi:
- Diskriminatora zaudējumi: maksimāli $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Ģeneratora zaudējumi: samaziniet $$ \ log (1 - d (g (z))) $$
Tomēr šie zaudējumi bieži cieš no ģeneratora piesātinājuma, kur ģenerators saņem izzūd gradientu un pārstāj uzlaboties apmācības laikā.
Nepiesātinātais GaN zaudējums
Parasts variants, kas uzlabo apmācības stabilitāti, piesaista ģeneratora mērķi, tā vietā maksimizēt $$ \ log d (g (z)) $ $, nevis samazināt $ $ \ log (1 - d (g (z))) $ $. Šī alternatīva izvairās no ģeneratora piesātinājuma, apmācības sākumā nodrošinot spēcīgākus slīpumus. Tas montē ģeneratoru kā maksimālu diskriminatora iespējamību marķēt ģenerētus paraugus kā reālus.
Wasserstein Gan zaudējums
Wasserstein zaudējums, kas ieviests 2017. gadā, aizstāj standarta bināro klasifikācijas diskriminatoru ar "kritiķi", kas vērtē paraugus nepārtrauktā mērogā, nevis klasificē tos kā reālus vai viltus. Zaudējumu pamatā ir Zemes virzītājs (Waserstein-1) attālums starp reālo un ģenerēto sadalījumu, kas nodrošina vienmērīgāku gradientu un mazina režīma sabrukumu un izzūdošo slīpumu. Diskriminatora izejas slānis tiek mainīts no sigmoīda aktivizācijas uz lineāru, un, lai īstenotu Lipschitz nepārtrauktību, tiek ieviests svara izgriezums vai gradienta sods:
- Kritika zaudējumi: maksimāli $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z)) $$
- Ģeneratora zaudējumi: samaziniet $$ \ MATHBB {E} _ {Z \ SIM P_Z} [D (G (Z))] $$
Šī zaudējumu funkcija ir kļuvusi par standartu stabilākai GaN apmācībai.
Vismazāk kvadrāti Gan zaudējumi
2016. gadā ierosinātais šis zaudējums aizstāj bināro krusteniskās entropijas zaudējumu ar mazāko kvadrātu zaudējumu, lai sodītu paraugus, kas atrodas tālu no lēmuma robežas. Diskriminētājs mēģina reālus paraugus regresēt līdz 1 un viltus paraugiem līdz 0, izmantojot vidējo kvadrātu kļūdu, turpretī ģenerators mēģina ģenerēt paraugus, kuru prognozes ir tuvu 1. Tas samazina izzušanas gradientu un uzlabo gradienta kvalitāti, palīdzot ģeneratoram labāk mācīties:
- Diskriminatora zaudējumi: samaziniet $$ (D (X) - 1)^2 + (D (G (z)))^2 $$
- Ģeneratora zaudējumi: samaziniet $$ (D (G (Z)) - 1)^2 $$
Šī pieeja bieži iegūst augstākas kvalitātes attēlus un stabilāku apmācību.
Eņģu zaudējums
Eņģu zudums ir vēl viens pretrunīga zaudējumu variants, kas diskriminējošo apmācību uzskata par uz rezervi balstītu klasifikācijas problēmu, nevis par varbūtēju. Diskriminētājs ir apmācīts, lai maksimāli palielinātu eņģu zudumu, virzot reālus paraugus virs malas un viltus paraugus zem tā, savukārt ģenerators mēģina maksimizēt diskriminējošo rādītājus ģenerētajiem paraugiem. Formāli:
- Diskriminatora zaudējumi: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Ģeneratora zaudējumi: $$- D (g (z)) $$
Eņģu zudums ir izmantots populārās augstas kvalitātes GaN arhitektūrās, piemēram, Biggan, lai veicinātu labāku gradienta plūsmu un stabilitāti.
Wasserstein gradienta sods (Wgan-GP)
Uzlabojums Wasserstein GAN, kas aizstāj svara izgriezumu ar gradienta sodu, lai efektīvāk ieviestu LipSchitz ierobežojumu. Gradienta sods pievieno legalizācijas terminu, kas sodītu diskriminatora gradienta normu, kas no 1, kas no 1, starppolitētiem paraugiem starp reālu un viltus. Tas uzlabo stabilitāti un apmācības konverģenci.
- zaudējumi, kas ir tādi, kas wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $ $ gradienta termiņa termins termins termins.
Šeit $$ \ hat {x} $$ ir paraugi, kas interpolēti starp reāliem un ģenerētiem datiem.
Relativistisks GaN zaudējums
Šie zaudējumi salīdzina diskriminējošo izejas reālos un viltus paraugos relativistiskā veidā, nevis absolūtās varbūtībās. Diskriminētājs prognozē, vai reālie dati ir reālāki nekā viltoti dati, un ģenerators attiecīgi vilcinās, kas var izraisīt labākus slīpumus un mazāku režīma sabrukumu.
- Diskriminators mēģina maksimizēt $$ \ log \ sigma (d (x) - d (g (z))) $$, kur $$ \ sigma $$ ir sigmoid
- Ģenerators mēģina maksimizēt $$ \ log \ sigma (d (g (z)) - d (x)) $$
Šī relatīvā perspektīva mudina ģeneratoru un diskriminatoru novērtēt paraugus viens otram tiešāk.
Ganētisks zaudējums
Nesen izstrādāta, izmantojot ģenētisko programmēšanas pieeju optimālai zudumu dizainam, Ganētiskie zaudējumi parāda augstāku veiktspēju un stabilitāti dažādās datu kopās, ieskaitot medicīniskos attēlus. Ganētiskais zudums integrē binārās krusteniskās entropijas elementus ar pašregulāciju, uzlabojot apmācības reproducējamību un samazinot režīmu. Tas ir efektīvi izmantots attēlu ģenerēšanai un anomāliju noteikšanai medicīniskā attēlveidošanā, pārspējot tradicionālās zaudējumu funkcijas stabilitātē un kvalitātē. Zaudējumus var pielāgot gan ģeneratoram, gan diskriminējošo apmācības režīmiem, lai uzlabotu rezultātus.
Robežas līdzsvara Gan (sākās) zaudējumi
Šis zaudējums līdzsvaro ģeneratoru un diskriminatoru, izmantojot līdzsvara terminu, kas mēra rekonstrukcijas zudumu attiecību autoencoder diskriminatorā. Sākumā tiek izmantota zaudējumu funkcija, pamatojoties uz diskriminatora rekonstrukcijas kļūdu, veicinot kvalitātes attēlu ģenerēšanu, izmantojot līdzsvara meklēšanas procesu starp ģeneratoru un diskriminatora jaudu.
- Diskriminējoša zaudēšana, pamatojoties uz autoencoder rekonstrukcijas kļūdu reāliem un viltus paraugiem
- Ģenerators mēģina samazināt viltus paraugu diskriminatora rekonstrukcijas kļūdu
Sāka uzlabot apmācības stabilitāti ar kontrolētu kompromisa parametru.
Dragan zaudējums
Variācija, kuras mērķis ir uzlabot sākotnējo GaN, modificējot gradienta sodu, kas jāpiemēro tikai ap datu kolektoru, ko sauc par Dragan (diskriminējoša legalizācija ar gradienta sodu). Tas sodā diskriminējošos gradientus ap reāliem datiem, kas satraukti ar troksni, lai veicinātu vienmērīgākas lēmumu robežas un samazinātu režīma sabrukumu.
- Zaudējumi, kas līdzīgi Wgan-GP, bet ar vietējo gradienta sodu ap traucētiem reāliem datu punktiem.
Funkciju atbilstības zaudējumi
Tā vietā, lai tieši izmantotu diskriminatora izvadi zaudējumiem, ģenerators tiek apmācīts, lai atbilstu starpposma funkcijām, kas iegūtas no reāliem un ģenerētiem paraugiem, ko veic diskriminētājs. Tas noved pie stabilākas apmācības un samazina režīma sabrukumu, mudinot ģeneratoru uztvert augstākas kārtas statistiku.
- Ģeneratora zaudējumi: samaziniet $$ \ | \ teksts {funkcijas} (x) - \ teksts {funkcijas} (g (z)) \ | $$, kur funkcijas tiek iegūtas pie kāda diskriminatora slāņa.
Režīma meklēšana zaudējums
Šie zaudējumi veicina ģenerēto izvadu dažādību, skaidri soda režīma sabrukumu. Tas salīdzina attālumus latentā telpā un attēla telpā starp ģenerēto paraugu pāriem, reklamējot ģeneratoru, lai iegūtu daudzveidīgākus paraugus.
- Ģeneratora zaudējumi ietver terminu maksimizējot attālumu izejas telpā, salīdzinot ar attālumu latentā telpā starp paraugu pāriem.
Funkciju saskaņošana un uztveres zaudējumi
Šie zaudējumi apvieno konkurences zaudējumus ar papildu uztveres vai uz funkcijām balstītus zaudējumus, kas aprēķināti, izmantojot iepriekš ieslēgtus tīklus (piemēram, VGG tīkli). Šādi zaudējumi, kas radīja attēlus, ne tikai apmānīja diskriminatoru, bet arī atbilst reālo attēlu uztveres īpašībām, kas noved pie asākas un reālākas izejas.
- Ģenerators samazina pretrunīgu zaudējumu svērto summu un uztveres/funkciju saskaņošanas zaudējumu nosacījumus.
Vismazāk absolūtās novirzes (L1) un vismazākie kvadrāti (L2) zaudējumi nosacītās GAN
Nosacītajos GAN, ko izmanto attēlu tulkošanas uzdevumiem, līdztekus pretrunīgiem zaudējumiem tiek iekļauti papildu L1 vai L2 zudumi starp radītajiem un zemes patiesības attēliem. Šie zaudējumi veicina pikseļu līmeņa precizitāti un samazina rezultātu artefaktus.
- Ģeneratora zaudējumi = pretrunīgi zaudējumi + $$ \ lambda \ | G (z) - x \ | _1 $$ vai $$ \ lambda \ | G (z) - x \ | _2^2 $$, kur $$ x $$ ir mērķa attēls.
Relativistiskais vidējais Gan (Ragan) zaudējums
Relativistiskā GAN pagarinājums Ragans izmanto vidējo diskriminatora izvadi reāliem un viltus attēliem, lai stabilizētu apmācību, nodrošinot globālu salīdzinājumu, nevis paraugu. Šī pieeja palīdz samazināt pārmērīgu pārliecību diskriminējošā prognozēs un uzlabo gradienta plūsmu.
- Zaudējumi ir saistīti ar diskriminējoša izlaides atšķirībām starp paraugu un vidējo izlaidi pretstatītajās klasēs.
Kopējais variācijas zudums
Bieži vien apvienojumā ar pretrunīgiem zaudējumiem, lai veicinātu telpisko gludumu un samazinātu troksni, kopējais variācijas zudums sodā straujas intensitātes izmaiņas radītos attēlos, uzlabojot vizuālo kvalitāti.
- Ģenerators samazina ģenerēto attēlu kopējo variācijas normu, kā arī pretrunīgu zudumu.
Pašpiedāvājuma GAN zaudējums
Iekļauj pašpārliecinātības mehānismus diskriminatoru un ģeneratoru arhitektūrās, modificējot zaudējumu funkcijas, lai atspoguļotu uzmanības svērtās pazīmes, lai uztvertu atkarības no tālsatiksmes, kas palīdz ģenerēt detalizētus un saskaņotus attēlus.
- Zaudējumi paliek tāpat kā standarta GAN, bet ar pašpārliecinātību papildinātiem tīkliem.
Robežu zaudējums segmentēšanai Gans
Segmentācijas GAN zaudējumu funkcijās var ietilpt sodi par robežām, lai uzlabotu precizitāti tuvu objekta malām, apvienojot pretinieku zaudējumus ar robežu/malu apzinātiem noteikumiem.
- Ģeneratora zaudējumi ietver robežu atbilstības mērķus, kā arī tradicionālās pretrunīgas sastāvdaļas.
Kontrastējoši zaudējumi Gansā
Dažos GaN variantos ir kontrastējoši zaudējumu komponenti, kuru mērķis ir iemācīties labāku funkciju iegulšanu, tuvinot līdzīgus paraugus un izdalot atšķirīgus paraugus, uzlabojot attēlojuma mācīšanos GaN ietvaros.
- Kontrastējoši zaudējumi, kas pievienoti ģeneratoram vai diskriminējošiem mērķiem, lai uzlabotu funkciju kvalitāti.
Uz enerģiju balstīti GAN zaudējumi
Uz enerģiju balstīti GAN formulē diskriminatoru kā enerģijas funkciju, kas reāliem datiem piešķir zemu enerģiju un augsto enerģiju viltus datiem. Apmācības zaudējumi optimizē enerģijas ainavu, nevis skaidras klasifikācijas varbūtības, kas var izraisīt stabilāku apmācību.
- diskriminējošā enerģija, kas samazināta reāliem paraugiem, maksimāli palielināta viltus paraugiem; Ģenerators optimizē, lai samazinātu enerģiju ģenerētajiem paraugiem.
Šie piemēri ilustrē bagātīgo zaudējumu funkciju daudzveidību, kas izstrādātas, lai uzlabotu GAN apmācības stabilitāti, veiktspēju un lietojumprogrammu specifiskus rezultātus. Katra zaudējumu funkcija ir vērsta uz īpašiem izaicinājumiem vai datu sadalījuma raksturlielumiem, un daudzas mūsdienu GaN arhitektūras bieži vien labākajiem rezultātiem apvieno vairākus zaudējumu terminus. Nepārtraukta šo zaudējumu funkciju attīstība atspoguļo pastāvīgos sasniegumus sacīkšu mācīšanās pētījumos.