Rezidivierende neuronale netzwerkbasierte generative kontroverse Netzwerke (RNN-GANS) kombinieren die zeitlichen Modellierungsfunktionen von RNNs mit den kontroversen Trainingsprinzipien von Gans. Die in RNN-Gans verwendeten Verlustfunktionen sind typischerweise so konzipiert, dass sie die Ziele sowohl des Generators als auch des Diskriminators innerhalb dieses Frameworks optimieren. In Kombination mit dem Adam-Optimierer werden ihr Verhalten und ihre Konvergenz durch seine charakteristischen adaptiven Lernrate-Eigenschaften beeinflusst.
Typische Verlustfunktionen in RNN-Gans
RNN-GANS verwenden Variationen von Verlustfunktionen basierend auf der ursprünglichen GAN-Formulierung. Die am häufigsten beteiligten Verlustfunktionen sind:
- Binärer Querentropieverlust (BCE-Verlust): Dies ist eine häufige Wahl für den Diskriminator und den Generator, bei dem der Diskriminator versucht, Real von gefälschten Sequenzen zu unterscheiden, und der Generator versucht, den Diskriminator durch die Erzeugung realistischer Sequenzen zu täuschen. Der BCE -Verlust misst den Abstand zwischen den vorhergesagten Wahrscheinlichkeiten und den Bodenwahrheitsbezeichnungen (real = 1, fake = 0).
- Gegenteiler Verlust (Minimax -Verlust): Der ursprüngliche GAN -Verlust zielt darauf ab, ein Minimax -Spiel zwischen dem Generator $$ g $$ und Diskriminator $$ D $$ zu lösen. Der Diskriminator maximiert die Wahrscheinlichkeit, reale und gefälschte Proben korrekt zu klassifizieren, während der Generator die Wahrscheinlichkeit des Diskriminators minimiert, seine Fälschungen korrekt klassifiziert:
$$
\ min_g \ max_d v (d, g) = \ mathbb {e} _ {x \ sim p_ {data> [\ log d (x)] + \ mathbb {e} _ {z \ sim p_z} [\ log (1 - d (g (g (z))))]
$$
Hier ist $$ x $$ eine echte Sequenz und $$ Z $$ ist Rauscheingabe für den Generator. Dieser Verlust wird je nach Implementierung an jedem Zeitschritt oder über die vollständige Sequenzausgabe angewendet.
- Verlust des kleinsten Quadrats (Lsgan): Um das Training zu stabilisieren, ersetzt der Verlust am kleinsten Quadrate den BCE -Verlust. Es bestraft die Stichproben auf der Grundlage ihrer Entfernung von der Entscheidungsgrenze und fördert die Ausgaben näher an realen Daten:
Für den Diskriminator:
$$
\ frac {1} {2} \ mathbb {e} _ {x \ sim p_ {data> [(d (x) -1)^2] + \ frac {1} {2} \ mathbb {e} _ {z \ sim p_z} [d (g (g (z))^2]
$$
Für den Generator:
$$
\ frac {1} {2} \ mathbb {e} _ {z \ sim p_z} [(d (g (z))-1)^2]
$$
Dieser Verlust wird häufig in sequenzbasierten GANs, einschließlich RNN-Gans, bevorzugt, um verschwindende Gradienten zu vermeiden.
- Wasserstein-Verlust (WGAN): Einige RNN-Gan-Modelle verwenden den Verlust von Wasserstein, um die Trainingsstabilität und Interpretierbarkeit zu verbessern. Dieser Verlust verwendet die Entfernung des Erd Mover als Kriterium mit einem Kritiker (anstelle eines Diskriminators), der Sequenzen bewertet, anstatt sie zu klassifizieren:
$$
\ min_g \ max_ {d \ in \ mathcal {d> \ mathbb {e} _ {x \ sim p_ {data> [d (x)] - \ mathbb {e} _ {z \ sim p_z} [d (g (g (g (g (g (g))]]
$$
Wobei $$ \ mathcal {d} $$ der Satz von 1-Lipschitz-Funktionen ist. Der Verlust vermeidet sättigende Gradienten, was für sequentielle Daten von entscheidender Bedeutung sein kann.
-Verluste auf Sequenzebene: Zusätzlich zu kontroversen Verlusten können sequenzspezifische oder aufgabenspezifische Verluste wie maximale Wahrscheinlichkeitsschätzung (MLE) oder Verluste von Lehrern erzwungen werden, um mit widersprüchlichen Verlusten zu kombiniert, um die Generatorausbildung effektiver in Sequenzen zu steuern.
Verwendung von Adam Optimizer in RNN-Gans
Der Adam-Optimierer wird aufgrund seiner adaptiven Momentschätzung, die dem komplexen kontroversen Training zugute kommt, in Gans, einschließlich RNN-Gans, weit verbreitet. Adam passt die Lernraten einzeln für jeden Parameter an, der auf Schätzungen der ersten (Mittelwert) und zweiten (Varianz-) Momente der Gradienten während des Trainings basiert.
Die wichtigsten Parameter von Adam, die normalerweise im RNN-Gan-Training verwendet werden, sind:
- Lernrate ($$ \ alpha $$): Im Allgemeinen klein (z. B. 0,0001 bis 0,001) für stabiles GaN -Training.
- Exponential -Zerfall -Rate für die ersten Momentschätzungen ($$ \ Beta_1 $$): häufig rund 0,5 bis 0,9 festgelegt; niedriger als der Standard 0,9, um die Oszillationen im GaN -Training zu reduzieren.
- Exponential -Zerfall -Rate für das zweite Momentschätzungen ($$ \ Beta_2 $$): In der Regel bei 0,999 gehalten.
- Epsilon ($$ \ epsilon $$): Eine kleine Konstante wie $$ 10^{- 8} $$, um die numerische Stabilität aufrechtzuerhalten.
Adams Gleichgewicht zwischen Impuls und adaptiven Lernraten hilft dabei, Probleme mit nicht stationären kontroversen Verlusten zu überwinden, insbesondere bei der Sequenzmodellierung mit RNNs, bei denen Gradienten instabil oder spärlich sein können.
Common Practice Setup Beispiel
In praktischen RNN-Gan-Setups würde man normalerweise so etwas sehen wie:
- Diskriminator und Generator haben sich getrennt mit binärem Kreuzentropieverlust oder seinen Varianten optimiert.
- Verwenden Sie den Adam Optimizer mit $$ \ beta_1 = 0,5 $$, $$ \ beta_2 = 0,999 $$ und Lernrate um $$ 10^{- 4} $$, um ausgeglichene Aktualisierungen zu gewährleisten.
- Das Training beinhaltet abwechselnd Aktualisierungen zwischen Diskriminator und Generator, basierend auf ihren jeweiligen Verlusten bei jedem Trainingsschritt oder bei Mini-Batch.
Weitere Variationen und Forschung
Die Forschung zu Verlustfunktionen für Gans entwickelt sich weiter. Einige Studien führen parametrisierte oder verallgemeinerte Verlustfunktionen (z. B. auf der Grundlage von Divergenz von Ré -NYI -Divergenz oder Pearson) ein, um die Stabilität und Leistung zu verbessern. Die Anwendung dieser auf RNN-GANS könnte die Änderung von Diskriminator- und Generatorzielen entsprechend beinhalten.
Zusätzlich werden manchmal Selbstregulierung und Verbundverluste, die den kontroversen Verlust mit Rekonstruktions- oder Klassifizierungsverlusten kombinieren, je nach Aufgabe wie Textgenerierung oder Zeitreihensynthese angewendet.
Zusammenfassung
Typische RNN-Gan-Verlustfunktionen mit Adam-Optimierer verwenden kontroverse Verluste, die von der ursprünglichen GaN inspiriert sind, einschließlich binärer Kreuzentropie, kleinste Quadrate oder Wassersteinverluste, die für sequentielle Daten angepasst sind. Die Parametereinstellungen von Adam werden speziell für die GaN -Stabilität eingestellt. Kombinationen mit sequenzspezifischen Verlusten sind auch üblich, um das Generatortraining für zeitliche Muster besser zu leiten. Dieses Ensemble erleichtert das Training von kontroversen RNN -Modellen, die Sequenzen effektiv erzeugen oder modellieren.
Referenzen für diese Informationen stammen aus Gan Fundamentational Literature, RNN-Gan-Anwendungen und Optimierer-Verwendungsmustern.