Jaringan permusuhan generatif (GANS) menggunakan banyak fungsi kerugian di luar kehilangan GAN standar asli, masing -masing dirancang untuk mengatasi tantangan seperti pelatihan ketidakstabilan, keruntuhan mode, lenyapnya gradien, dan masalah konvergensi. Di bawah ini adalah contoh -contoh utama fungsi kehilangan GaN yang beragam, banyak diteliti, dan praktis digunakan:
Kehilangan GAN Standar (Kehilangan Min-Max)
Kehilangan GAN asli dari makalah seminal 2014 oleh Goodfellow et al. Merumuskan permainan minimax dua pemain antara generator dan diskriminator. Diskriminator mencoba untuk mengklasifikasikan data nyata dan palsu dengan benar dengan memaksimalkan kemungkinan menetapkan label yang benar, sementara generator mencoba membodohi diskriminator dengan meminimalkan kemungkinan diskriminator yang mengidentifikasi dengan benar data palsu. Ini bisa ditulis sebagai:
- Kerugian Diskriminator: Maksimalkan $$ \ log D (x) + \ log (1 - d (g (z))) $$
- Kehilangan Generator: Minimalkan $$ \ Log (1 - D (G (Z))) $$
Namun, kerugian ini sering menderita saturasi generator, di mana generator menerima gradien menghilang dan berhenti membaik selama pelatihan.
Kehilangan GAN yang tidak jenuh
Varian umum yang meningkatkan stabilitas pelatihan mengubah tujuan generator untuk memaksimalkan $$ \ log d (g (z)) $$ daripada meminimalkan $$ \ log (1 - d (g (z))) $$. Alternatif ini menghindari saturasi generator dengan memberikan gradien yang lebih kuat di awal pelatihan. Ini membingkai ulang generator sebagai memaksimalkan kemungkinan diskriminator untuk memberi label sampel yang dihasilkan sebagai nyata.
Kehilangan Gan Wasserstein
Kehilangan Wasserstein, diperkenalkan pada tahun 2017, menggantikan diskriminator klasifikasi biner standar dengan "kritikus" yang mencetak sampel pada skala berkelanjutan daripada mengklasifikasikannya sebagai nyata atau palsu. Kerugian ini didasarkan pada jarak Bumi-Penggerak (Wasserstein-1) antara distribusi nyata dan yang dihasilkan, yang memberikan gradien yang lebih halus dan mengurangi keruntuhan mode dan lenyapnya gradien. Lapisan output diskriminator diubah dari aktivasi sigmoid ke linier, dan kliping berat atau penalti gradien diperkenalkan untuk menegakkan kontinuitas Lipschitz:
- Kehilangan Kritik: Maksimalkan $$ \ MathBB {E} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- Generator Loss: Minimalkan $$ \ MathBB {E} _ {Z \ SIM P_Z} [d (g (z))] $$
Fungsi kerugian ini telah menjadi standar untuk pelatihan GAN yang lebih stabil.
Kotak terkecil Gan Loss
Diusulkan pada tahun 2016, kerugian ini menggantikan kerugian silang biner dengan kehilangan kuadrat terkecil untuk menghukum sampel yang terletak jauh dari batas keputusan lebih berat. Diskriminator mencoba untuk mundur sampel nyata ke 1 dan sampel palsu ke 0 menggunakan kesalahan kuadrat rata -rata, sedangkan generator berupaya menghasilkan sampel yang prediksi mendekati 1. Ini mengurangi gradien menghilang dan meningkatkan kualitas gradien, membantu generator belajar lebih baik: lebih baik:
- Kerugian Diskriminator: Minimalkan $$ (d (x) - 1)^2 + (d (g (z)))^2 $$
- Kehilangan Generator: Minimalkan $$ (D (G (Z)) - 1)^2 $$
Pendekatan ini sering menghasilkan gambar berkualitas lebih tinggi dan pelatihan yang lebih stabil.
Kehilangan engsel
Kehilangan engsel adalah varian kehilangan permusuhan lain yang memperlakukan pelatihan diskriminator sebagai masalah klasifikasi berbasis margin daripada masalah probabilistik. Diskriminator dilatih untuk memaksimalkan kehilangan engsel, mendorong sampel nyata di atas margin dan sampel palsu di bawahnya, sementara generator mencoba memaksimalkan skor diskriminator untuk sampel yang dihasilkan. Secara formal:
- Kehilangan diskriminator: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z))) $$
- Kerugian Generator: $$- D (G (Z)) $$
Kehilangan engsel telah digunakan dalam arsitektur GAN berkualitas tinggi yang populer seperti Biggan untuk mempromosikan aliran dan stabilitas gradien yang lebih baik.
Wasserstein Gradient Penalty (WGAN-GP)
Peningkatan pada Wasserstein Gan yang menggantikan kliping berat badan dengan penalti gradien untuk menegakkan kendala Lipschitz secara lebih efektif. Hukuman gradien menambahkan istilah regularisasi yang menghukum norma gradien diskriminator yang menyimpang dari 1 pada sampel yang diinterpolasi antara nyata dan palsu. Ini meningkatkan stabilitas dan pelatihan konvergensi.
- kerugian sama dengan wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ topi {x> d (\ topi {x}) \ |
Di sini $$ \ hat {x} $$ adalah sampel yang diinterpolasi antara data nyata dan yang dihasilkan.
Kerugian Gan Relativistik
Kehilangan ini membandingkan output diskriminator pada sampel nyata dan palsu dengan cara relativistik daripada probabilitas absolut. Diskriminator memprediksi apakah data nyata lebih realistis daripada data palsu, dan generator berlatih, yang dapat menyebabkan gradien yang lebih baik dan lebih sedikit keruntuhan mode.
- Diskriminator mencoba memaksimalkan $$ \ log \ sigma (d (x) - d (g (z))) $$ di mana $$ \ sigma $$ adalah sigmoid
- Generator mencoba memaksimalkan $$ \ log \ sigma (d (g (z)) - d (x)) $$
Perspektif relatif ini mendorong generator dan diskriminator untuk mengevaluasi sampel satu sama lain secara lebih langsung.
Kehilangan ganetik
Baru -baru ini dikembangkan melalui pendekatan pemrograman genetik untuk desain kehilangan yang optimal, kehilangan ganetik menunjukkan kinerja yang unggul dan stabilitas di berbagai dataset termasuk gambar medis. Kehilangan ganetik mengintegrasikan unsur-unsur entri silang biner dengan pengaturan diri, meningkatkan reproduktifitas pelatihan dan mengurangi keruntuhan mode. Ini telah diterapkan secara efektif untuk pembuatan gambar dan deteksi anomali dalam pencitraan medis, mengungguli fungsi kerugian tradisional dalam stabilitas dan kualitas. Kerugian dapat disesuaikan untuk rezim pelatihan generator dan diskriminator untuk hasil yang lebih baik.
Batas keseimbangan gan (dimulai) kerugian
Kerugian ini menyeimbangkan generator dan diskriminator melalui istilah keseimbangan yang mengukur rasio kerugian rekonstruksi pada diskriminator autoencoder. Mulai menggunakan fungsi kerugian berdasarkan kesalahan rekonstruksi diskriminator, mempromosikan pembuatan gambar kualitas melalui proses pencarian keseimbangan antara generator dan daya diskriminator.
- Kehilangan diskriminator berdasarkan kesalahan rekonstruksi autoencoder untuk sampel nyata dan palsu
- Generator mencoba meminimalkan kesalahan rekonstruksi diskriminator dari sampel palsu
Mulai meningkatkan stabilitas pelatihan dengan parameter tradeoff terkontrol.
Kehilangan Dragan
Variasi yang bertujuan untuk meningkatkan GAN asli dengan memodifikasi penalti gradien untuk diterapkan hanya di sekitar manifold data, yang disebut Dragan (regriminator regularisasi dengan penalti gradien). Ini menghukum gradien diskriminator di sekitar data nyata yang terganggu dengan noise untuk mendorong batas keputusan yang lebih halus dan mengurangi keruntuhan mode.
- Kerugian mirip dengan WGAN-GP tetapi dengan penalti gradien lokal di sekitar titik data nyata yang terganggu.
Kehilangan pencocokan fitur
Alih -alih secara langsung menggunakan output diskriminator untuk kehilangan, generator dilatih untuk mencocokkan fitur perantara yang diekstraksi dari sampel nyata dan yang dihasilkan oleh diskriminator. Hal ini mengarah pada pelatihan yang lebih stabil dan mengurangi keruntuhan mode dengan mendorong generator untuk menangkap statistik tingkat tinggi.
- Generator Loss: Minimalkan $$ \ | \ text {fitur} (x) - \ text {fitur} (g (z)) \ | $$ Di mana fitur diekstraksi pada beberapa lapisan diskriminator.
Mode mencari kehilangan
Kerugian ini mendorong keragaman dalam output yang dihasilkan dengan secara eksplisit menghukum mode runtuh. Ini membandingkan jarak dalam ruang laten dan ruang gambar antara pasangan sampel yang dihasilkan, mempromosikan generator untuk menghasilkan sampel yang lebih beragam.
- Kehilangan generator termasuk istilah memaksimalkan jarak dalam ruang output relatif terhadap jarak dalam ruang laten di antara pasangan sampel.
Pencocokan fitur dan kerugian perseptual
Kerugian ini menggabungkan kerugian permusuhan dengan kerugian persepsi tambahan atau berbasis fitur yang dihitung menggunakan jaringan pretrained (mis., Jaringan VGG). Kerugian seperti itu menegakkan yang menghasilkan gambar tidak hanya membodohi diskriminator tetapi juga cocok dengan fitur perseptual dari gambar nyata, yang mengarah ke output yang lebih tajam dan lebih realistis.
- Generator meminimalkan jumlah tertimbang dari kerugian permusuhan dan perseptual/persepsi persepsi yang cocok dengan istilah kerugian.
Penyimpangan absolut terkecil (L1) dan Kuaian Kotak Terkecil (L2) dalam Gans bersyarat
Dalam Gans bersyarat yang digunakan untuk tugas penerjemahan gambar, kerugian L1 atau L2 tambahan antara gambar kebenaran yang dihasilkan dan ground digabungkan di samping kerugian permusuhan. Kerugian ini mendorong akurasi tingkat piksel dan mengurangi artefak dalam output.
- Kehilangan generator = kerugian permusuhan + $$ \ lambda \ | G (z) - x \ | _1 $$ atau $$ \ lambda \ | G (z) - x \ | _2^2 $$ Di mana $$ x $$ adalah gambar target.
Kerugian Relativistik Rata -Rata Gan (Ragan)
Perpanjangan GAN relativistik, Ragan menggunakan output diskriminator rata-rata untuk gambar nyata dan palsu untuk menstabilkan pelatihan dengan memberikan perbandingan yang lebih global daripada sampel-bijaksana. Pendekatan ini membantu mengurangi terlalu percaya diri dalam prediksi diskriminator dan meningkatkan aliran gradien.
- Kerugian melibatkan perbedaan output diskriminator antara sampel dan output rata -rata pada kelas lawan.
Kerugian variasi total
Seringkali dikombinasikan dengan kehilangan permusuhan untuk mendorong kehalusan spasial dan mengurangi kebisingan, variasi total kehilangan menghukum perubahan intensitas cepat dalam gambar yang dihasilkan, meningkatkan kualitas visual.
- Generator meminimalkan total variasi norma dari gambar yang dihasilkan bersama dengan kehilangan permusuhan.
Kehilangan gan diri sendiri
Menggabungkan mekanisme perhatian diri dalam arsitektur diskriminator dan generator, memodifikasi fungsi kerugian untuk mencerminkan fitur tertimbang perhatian untuk menangkap ketergantungan jarak jauh, yang membantu menghasilkan gambar yang terperinci dan koheren.
- Kerugian tetap seperti pada GANS standar tetapi dengan jaringan augmented swadaya.
Kerugian batas untuk gans segmentasi
Dalam segmentasi GAN, fungsi kerugian dapat mencakup hukuman sadar batas untuk meningkatkan akurasi di dekat tepi objek, menggabungkan kehilangan permusuhan dengan istilah batas/tepi-sadar.
- Kehilangan generator termasuk tujuan pencocokan batas bersama dengan komponen permusuhan tradisional.
Kerugian kontras dalam gans
Beberapa varian GAN menggabungkan komponen kehilangan kontras yang bertujuan untuk mempelajari embeddings fitur yang lebih baik dengan membawa sampel serupa lebih dekat dan mendorong sampel yang berbeda terpisah, meningkatkan pembelajaran representasi dalam kerangka kerja GaN.
- Kehilangan kontras ditambahkan ke generator atau tujuan diskriminator untuk meningkatkan kualitas fitur.
Kehilangan GAN Berbasis Energi
GAN berbasis energi merumuskan diskriminator sebagai fungsi energi yang memberikan energi rendah untuk data nyata dan energi tinggi untuk data palsu. Kehilangan pelatihan mengoptimalkan lanskap energi daripada probabilitas klasifikasi eksplisit, yang dapat menyebabkan pelatihan yang lebih stabil.
- Energi diskriminator diminimalkan untuk sampel nyata, dimaksimalkan untuk sampel palsu; Generator mengoptimalkan untuk mengurangi energi pada sampel yang dihasilkan.
Contoh-contoh ini menggambarkan keragaman fungsi kerugian yang kaya yang dikembangkan untuk meningkatkan stabilitas pelatihan, kinerja, dan hasil khusus aplikasi GANS. Setiap fungsi kerugian menargetkan tantangan spesifik atau karakteristik distribusi data, dengan banyak arsitektur GAN modern sering menggabungkan beberapa istilah kerugian untuk hasil terbaik. Evolusi berkelanjutan dari fungsi kerugian ini mencerminkan kemajuan yang sedang berlangsung dalam penelitian pembelajaran permusuhan.