Τα γενετικά δίκτυα αντισταθμιστικών δικτύων (GAN) χρησιμοποιούν πολλές λειτουργίες απώλειας πέρα από την αρχική τυποποιημένη απώλεια GAN, καθένα από τα οποία έχει σχεδιαστεί για να αντιμετωπίσει προκλήσεις όπως αστάθεια κατάρτισης, κατάρρευση τρόπου, διαβαθμίσεις εξαφανισμένης και ζητήματα σύγκλισης. Παρακάτω είναι βασικά παραδείγματα ποικίλων, ευρέως ερευνημένων και πρακτικά χρησιμοποιούμενων λειτουργιών απώλειας GAN:
Τυπική απώλεια Gan (απώλεια min-max)
Η αρχική απώλεια Gan από το έγγραφο του 2014 από τους Goodfellow et al. διατυπώνει ένα παιχνίδι MiniMax δύο παικτών μεταξύ της γεννήτριας και του διακριτικού. Ο διακριτής προσπαθεί να ταξινομήσει σωστά τα πραγματικά και ψεύτικα δεδομένα μεγιστοποιώντας την πιθανότητα εκχώρησης σωστών ετικετών, ενώ η γεννήτρια προσπαθεί να ξεγελάσει τον διακριτικό προσδιορισμό ελαχιστοποιώντας την πιθανότητα του διακριτικού διακριτικού να εντοπίσει σωστά τα ψεύτικα δεδομένα. Αυτό μπορεί να γραφτεί ως:
- Απώλεια διακρίσεων: Μεγιστοποίηση $$ \ log d (x) + \ log (1 - d (g (z))) $$
- Απώλεια γεννήτριας: ελαχιστοποιήστε $$ \ log (1 - d (g (z))) $$
Ωστόσο, αυτή η απώλεια συχνά υποφέρει από κορεσμό της γεννήτριας, όπου η γεννήτρια λαμβάνει κλίσεις εξαφανισμένης και σταματά να βελτιώνεται κατά τη διάρκεια της εκπαίδευσης.
Μη-κορεσμένη απώλεια GAN
Μια κοινή παραλλαγή που βελτιώνει τη σταθερότητα της κατάρτισης τροποποιεί τον στόχο της γεννήτριας να μεγιστοποιήσει το $$ \ log d (g (z)) $$ αντί να ελαχιστοποιήσει το $$ \ log (1 - d (g (z))) $$. Αυτή η εναλλακτική λύση αποφεύγει τον κορεσμό της γεννήτριας παρέχοντας ισχυρότερες κλίσεις νωρίς στην εκπαίδευση. Αναδιαμορφώνει τη γεννήτρια ως μεγιστοποιώντας την πιθανότητα της επισήμανσης που δημιουργεί την επισήμανση ως πραγματική.
Απώλεια Wasserstein Gan
Η απώλεια Wasserstein, που εισήχθη το 2017, αντικαθιστά τον τυποποιημένο διακριτικό δυαδικών ταξινόμησης με έναν "κριτικό" που βαθμολογεί τα δείγματα σε συνεχή κλίμακα αντί να τα ταξινομήσει ως πραγματικό ή ψεύτικο. Η απώλεια βασίζεται στην απόσταση μετακίνησης της γης (Wasserstein-1) μεταξύ των πραγματικών και των παραγόμενων κατανομών, η οποία παρέχει ομαλότερες κλίσεις και μετριάζει τις κλίσεις κατάρρευσης και εξαφανισμένης. Το στρώμα εξόδου διακρίσεων αλλάζει από την ενεργοποίηση σιγμοειδούς σε γραμμική και εισάγεται η αποκοπή βάρους ή η ποινή κλίσης για την επιβολή της συνέχειας του lipschitz:
- Απώλεια κριτικής: Μεγιστοποίηση $$ \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
- Απώλεια γεννήτριας: Ελαχιστοποίηση $$ \ mathbb {e} _ {z \ sim p_z} [d (g (z))] $$
Αυτή η συνάρτηση απώλειας έχει γίνει ένα πρότυπο για πιο σταθερή εκπαίδευση GAN.
Λιγότερο τετράγωνα απώλεια gan
Προτάθηκε το 2016, η απώλεια αυτή αντικαθιστά τη δυαδική απώλεια της εντροπίας με απώλεια ελάχιστων τετραγώνων για την τιμωρία των δειγμάτων που βρίσκονται μακριά από το όριο της απόφασης πιο έντονα. Ο διακριτικός προσπαθεί να υποχωρήσει σε πραγματικά δείγματα σε 1 και ψεύτικα δείγματα στο 0 χρησιμοποιώντας το μέσο τετράγωνο σφάλμα, ενώ η γεννήτρια προσπαθεί να δημιουργήσει δείγματα των οποίων οι προβλέψεις είναι κοντά στο 1.
- Απώλεια διακρίσεων: ελαχιστοποιήστε το $$ (d (x) - 1)^2 + (d (g (z))^2 $$
- Απώλεια γεννήτριας: Ελαχιστοποίηση $$ (d (g (z)) - 1)^2 $$
Αυτή η προσέγγιση συχνά αποδίδει εικόνες υψηλότερης ποιότητας και πιο σταθερή εκπαίδευση.
Απώλεια μεντεσέ
Η απώλεια μεντεσέ είναι μια άλλη παραλλαγή απώλειας αντιπαράθεσης που αντιμετωπίζει την κατάρτιση των διακρίσεων ως πρόβλημα ταξινόμησης με βάση το περιθώριο και όχι ως πιθανοτική. Ο διάκριση εκπαιδεύεται για να μεγιστοποιήσει την απώλεια μεντεσέ, πιέζοντας πραγματικά δείγματα πάνω από ένα περιθώριο και ψεύτικα δείγματα κάτω από αυτό, ενώ η γεννήτρια προσπαθεί να μεγιστοποιήσει τις βαθμολογίες διακρίσεων για δείγματα που παράγονται. Τυπικά:
- Απώλεια διακρίσεων: $$ \ max (0, 1 - d (x)) + \ max (0, 1 + d (g (z)) $$
- Απώλεια γεννήτριας: $$- D (g (z)) $$
Η απώλεια μεντεσέ έχει χρησιμοποιηθεί σε δημοφιλείς αρχιτεκτονικές υψηλής ποιότητας GAN, όπως ο Biggan για την προώθηση της καλύτερης ροής και της σταθερότητας.
Ποινή κλίσης Wasserstein (wgan-gp)
Μια βελτίωση στο Gan Wasserstein που αντικαθιστά το βάρος της αποκοπής με ποινή κλίσης για την επιβολή του περιορισμού του lipschitz πιο αποτελεσματικά. Η ποινή κλίσης προσθέτει έναν όρο νομιμοποίησης που τιμωρεί τον κανόνα της κλίσης του διακριτικού που αποκλίνει από 1 σε παρεμβαλλόμενα δείγματα μεταξύ πραγματικού και ψεύτικου. Αυτό ενισχύει τη σταθερότητα και τη σύγκλιση κατάρτισης.
- Απώλεια ίδια με το wgan plus $$ \ lambda \ mathbb {e} _ {\ hat {x> [(\ | \ nabla _ {\ hat {x> d (\ hat {x}) \ | _2 - 1)^2] $$
Εδώ $$ \ hat {x} $$ Τα δείγματα παρεμβάλλονται μεταξύ πραγματικών και παραγόμενων δεδομένων.
Σχετικιστική απώλεια gan
Αυτή η απώλεια συγκρίνει τις εξόδους των διακριτών σε πραγματικά και ψεύτικα δείγματα με σχετικιστικό τρόπο και όχι απόλυτες πιθανότητες. Ο διακριτικός παράγοντας προβλέπει εάν τα πραγματικά δεδομένα είναι πιο ρεαλιστικά από τα ψεύτικα δεδομένα και η γεννήτρια εκπαιδεύει ανάλογα, γεγονός που μπορεί να οδηγήσει σε καλύτερες κλίσεις και λιγότερη κατάρρευση της λειτουργίας.
- Ο διακριτής προσπαθεί να μεγιστοποιήσει $$ \ log \ sigma (d (x) - d (g (z))) $$ όπου $$ \ sigma $$ είναι sigmoid είναι sigmoid είναι sigmoid είναι sigmoid είναι sigmoid είναι sigmoid
- Η Generator προσπαθεί να μεγιστοποιήσει το $$ \ log \ sigma (d (g (z)) - d (x)) $$
Αυτή η σχετική προοπτική ωθεί τη γεννήτρια και τον διακριτικό να αξιολογούν τα δείγματα εναντίον του άλλου πιο άμεσα.
Γανική απώλεια
Πρόσφατα αναπτύχθηκε μέσω μιας προσέγγισης γενετικού προγραμματισμού στο βέλτιστο σχεδιασμό απώλειας, η απώλεια Ganetic παρουσιάζει ανώτερη απόδοση και σταθερότητα σε διάφορα σύνολα δεδομένων, συμπεριλαμβανομένων των ιατρικών εικόνων. Η απώλεια Ganetic ενσωματώνει στοιχεία της δυαδικής διασταυρούμενης εντροπίας με αυτορρύθμιση, βελτιώνοντας την αναπαραγωγιμότητα της κατάρτισης και την κατάρρευση του τρόπου μείωσης. Έχει εφαρμοστεί αποτελεσματικά για την παραγωγή εικόνων και την ανίχνευση ανωμαλιών στην ιατρική απεικόνιση, ξεπερνώντας τις παραδοσιακές λειτουργίες απώλειας στη σταθερότητα και την ποιότητα. Η απώλεια μπορεί να προσαρμοστεί τόσο για τα καθεστώτα κατάρτισης της γεννήτριας όσο και για τους διανομείς για βελτιωμένα αποτελέσματα.
Οριακή ισορροπία Gan (άρχισε) απώλεια
Αυτή η απώλεια εξισορροπεί τη γεννήτρια και τον διακριτή μέσω ενός όρου ισορροπίας που μετρά την αναλογία των ζημιών ανακατασκευής σε έναν διακριτή αυτοεξυπηρέτησης. Ξεκίνησε χρησιμοποιεί μια συνάρτηση απώλειας που βασίζεται στο σφάλμα ανακατασκευής του διακριτικού, προωθώντας την παραγωγή εικόνων ποιότητας μέσω μιας διαδικασίας αναζήτησης ισορροπίας μεταξύ της γεννήτριας και της ισχύος των διακριτών.
- Απώλεια διακρίσεων με βάση το σφάλμα ανακατασκευής του αυτοκαταστήματος για πραγματικά δείγματα και ψεύτικα δείγματα
- Ο γεννήτρια προσπαθεί να ελαχιστοποιήσει το σφάλμα ανασυγκρότησης του διακριτή των ψεύτικων δειγμάτων
Άρχισε να βελτιώνει τη σταθερότητα της κατάρτισης με μια ελεγχόμενη παράμετρο εμπλοκής.
Απώλεια Dragan
Μια παραλλαγή που στοχεύει στη βελτίωση του αρχικού GAN τροποποιώντας την ποινή κλίσης που θα εφαρμοστεί μόνο γύρω από την πολλαπλή δεδομένων, που ονομάζεται Dragan (τακτοποίηση διακρίσεων με ποινή κλίσης). Τιμωρεί τις κλίσεις των διακριτών γύρω από τα πραγματικά δεδομένα που διαταράσσονται με θόρυβο για να ενθαρρύνουν τα ομαλότερα όρια αποφάσεων και να μειώσουν την κατάρρευση του τρόπου.
- Απώλεια παρόμοια με το WGAN-GP αλλά με την τοπική ποινή κλίσης γύρω από διαταραγμένα σημεία πραγματικών δεδομένων.
Η απώλεια αντιστοίχισης χαρακτηριστικών
Αντί να χρησιμοποιεί άμεσα την παραγωγή διακριτή για απώλεια, η γεννήτρια εκπαιδεύεται ώστε να ταιριάζει με τα ενδιάμεσα χαρακτηριστικά που εξάγονται από πραγματικά και δημιουργημένα δείγματα από τον διακριτικό. Αυτό οδηγεί σε πιο σταθερή κατάρτιση και μειώνει την κατάρρευση της λειτουργίας ενθαρρύνοντας τη γεννήτρια να συλλάβει στατιστικά στοιχεία υψηλότερης τάξης.
- Απώλεια γεννήτριας: Ελαχιστοποίηση $$ \ | \ text {χαρακτηριστικά} (x) - \ text {χαρακτηριστικά} (g (z)) \ | $$ όπου τα χαρακτηριστικά εξάγονται σε κάποιο στρώμα του διακριτικού.
Λειτουργία αναζητώντας απώλεια
Αυτή η απώλεια ενθαρρύνει την ποικιλομορφία στις παραγόμενες εξόδους με την κατάρρευση του τρόπου τιμωρίας. Συγκρίνει τις αποστάσεις σε λανθάνον χώρο και χώρο εικόνας μεταξύ ζευγών παραγόμενων δειγμάτων, προωθώντας τη γεννήτρια για να παράγει πιο διαφορετικά δείγματα.
- Η απώλεια της γεννήτριας περιλαμβάνει την απόσταση μεγιστοποίησης όρων στον χώρο εξόδου σε σχέση με την απόσταση σε λανθάνον χώρο μεταξύ των ζευγών δειγμάτων.
Αντιστοίχιση χαρακτηριστικών και αντιληπτικές απώλειες
Αυτές οι απώλειες συνδυάζουν την απώλεια αντιπαράθεσης με πρόσθετες απώλειες αντιληπτικών ή χαρακτηριστικών που υπολογίζονται χρησιμοποιώντας προνομιακά δίκτυα (π.χ. δίκτυα VGG). Τέτοιες απώλειες επιβάλλουν ότι δημιουργούν εικόνες όχι μόνο να ξεγελάσουν τον διακριτικό, αλλά και να ταιριάζουν με τα αντιληπτικά χαρακτηριστικά των πραγματικών εικόνων, οδηγώντας σε πιο έντονες και πιο ρεαλιστικές εξόδους.
- Η γεννήτρια ελαχιστοποιεί το σταθμισμένο άθροισμα της αντισταθμιστικής απώλειας και των όρων απώλειας αντιστοίχισης των αντιστοίχων.
Λιγότερες απόλυτες αποκλίσεις (L1) και λιγότερες τετράγωνες (L2) απώλειες σε υπό όρους GANS
Σε υπό όρους GANs που χρησιμοποιούνται για εργασίες μετάφρασης εικόνας, πρόσθετες απώλειες L1 ή L2 μεταξύ εικόνων παραγόμενης και εδάφους αλήθειας ενσωματώνονται παράλληλα με τις απωθητικές απώλειες. Αυτές οι απώλειες ενθαρρύνουν την ακρίβεια σε επίπεδο εικονοστοιχείων και τη μείωση των αντικειμένων στις εξόδους.
- Απώλεια γεννήτριας = Απολλητική απώλεια + $$ \ lambda \ | G (z) - x \ | _1 $$ ή $$ \ lambda \ | G (z) - x \ | _2^2 $$ όπου $$ x $$ είναι εικόνα στόχου.
Σχετικιστική μέση απώλεια Gan (Ragan)
Μια επέκταση του σχετικιστικού GAN, ο Ragan χρησιμοποιεί τη μέση παραγωγή διακρίσεων για πραγματικές και ψεύτικες εικόνες για να σταθεροποιήσει την κατάρτιση παρέχοντας μια πιο παγκόσμια σύγκριση και όχι με δείγμα. Αυτή η προσέγγιση συμβάλλει στη μείωση της εμπιστοσύνης στις προβλέψεις διακρίσεων και βελτιώνει τη ροή κλίσης.
- Η απώλεια περιλαμβάνει διαφορές παραγωγής διακρίσεων μεταξύ ενός δείγματος και μέσης παραγωγής σε αντίθετες κατηγορίες.
Συνολική απώλεια μεταβολής
Συχνά σε συνδυασμό με την απώλεια αντιπαράθεσης για να ενθαρρύνει τη χωρική ομαλότητα και να μειώσει τον θόρυβο, η συνολική απώλεια μεταβολής τιμωρεί τις ταχείες αλλαγές έντασης στις δημιουργούμενες εικόνες, βελτιώνοντας την οπτική ποιότητα.
- Η γεννήτρια ελαχιστοποιεί τον συνολικό κανόνα μεταβολής των παραγόμενων εικόνων μαζί με την απώλεια της αντιπαράθεσης.
ΑΥΤΟΚΙΝΗΤΟ GAN LOSS
Ενσωματώνει μηχανισμούς αυτο-προστασίας στις αρχιτεκτονικές διακρίσεων και γεννήτριας, τροποποιώντας τις λειτουργίες απώλειας ώστε να αντικατοπτρίζουν τα χαρακτηριστικά των σταθμισμένων προσοχής για να καταγράψουν εξαρτήσεις μεγάλης εμβέλειας, γεγονός που βοηθά στην παραγωγή λεπτομερών και συνεκτικών εικόνων.
- Οι απώλειες παραμένουν όπως στα πρότυπα GAN, αλλά με τα δίκτυα που αυξάνουν την αυτοεξυπηρέτηση.
Απώλεια οριακής απώλειας για Gans κατακερματισμού
Σε GANs κατάτμησης, οι λειτουργίες απώλειας μπορεί να περιλαμβάνουν κυρώσεις που έχουν επίγνωση των ορίων για τη βελτίωση της ακρίβειας κοντά στα άκρα αντικειμένων, συνδυάζοντας την απώλεια αντιπαράθεσης με όρους με όρια/άκρη.
- Η απώλεια της γεννήτριας περιλαμβάνει στόχους ορίων αντιστοίχισης μαζί με τα παραδοσιακά αντισταθμιστικά συστατικά.
Αντίθετη απώλεια στο Gans
Ορισμένες παραλλαγές GAN ενσωματώνουν συστατικά απώλειας αντίθεσης που στοχεύουν στην εκμάθηση καλύτερων ενσωματωμάτων χαρακτηριστικών, φέρνοντας παρόμοια δείγματα πιο κοντά και πιέζοντας διαφορετικά δείγματα χωριστά, ενισχύοντας την εκμάθηση αναπαράστασης μέσα στα πλαίσια GAN.
- Η αντίθετη απώλεια προστέθηκε στους στόχους της γεννήτριας ή του διακριτικού για τη βελτίωση της ποιότητας των χαρακτηριστικών.
Απώλεια Gan με βάση την ενέργεια
Τα GANs με βάση την ενέργεια διαμορφώνουν το διακριτό ως ενεργειακή λειτουργία που αποδίδει χαμηλή ενέργεια σε πραγματικά δεδομένα και υψηλή ενέργεια σε ψεύτικα δεδομένα. Η απώλεια κατάρτισης βελτιστοποιεί το ενεργειακό τοπίο και όχι τις ρητές πιθανότητες ταξινόμησης, οι οποίες μπορούν να οδηγήσουν σε πιο σταθερή κατάρτιση.
- Η ενέργεια διακρίσεων ελαχιστοποιείται για πραγματικά δείγματα, μεγιστοποιημένη για ψεύτικα δείγματα. Η γεννήτρια βελτιστοποιείται για τη μείωση της ενέργειας σε δείγματα που παράγονται.
Αυτά τα παραδείγματα απεικονίζουν την πλούσια ποικιλία των λειτουργιών απώλειας που αναπτύχθηκαν για τη βελτίωση της σταθερότητας της κατάρτισης, της απόδοσης και των ειδικών για την εφαρμογή. Κάθε συνάρτηση απώλειας στοχεύει σε συγκεκριμένες προκλήσεις ή χαρακτηριστικά των κατανομών δεδομένων, με πολλές σύγχρονες αρχιτεκτονικές GAN να συνδυάζουν συχνά πολλαπλούς όρους απώλειας για τα καλύτερα αποτελέσματα. Η συνεχής εξέλιξη αυτών των λειτουργιών απώλειας αντικατοπτρίζει τις συνεχιζόμενες εξελίξεις στην έρευνα της αντιπαράθεσης.