Il clipping di peso è una tecnica originariamente introdotta in Wasserstein Gans (WGANS) per far rispettare il vincolo di continuità di Lipschitz richiesto dalla metrica a distanza di Wasserstein. Sebbene abbia semplicità computazionale e un certo successo iniziale, il clipping di peso in WGAN introduce diversi problemi notevoli che incidono sulla stabilità della formazione, la capacità del modello e le prestazioni complessive.
Uno dei problemi principali con il ritaglio di peso è che funge da duro vincolo sui pesi del modello troncandoli all'interno di un intervallo fisso. Questa operazione restrittiva pregiudica il critico (discriminatore nei GAS tradizionali) verso l'apprendimento di funzioni eccessivamente semplici, limitando la sua capacità di modellare efficacemente distribuzioni di dati complesse. Le forze di ritaglio pesa a rimanere in una piccola scatola, che spesso porta al critico che non riesce a catturare momenti di ordine superiore e dettagli più fini dei dati. Questo vincolo può far sì che la funzione del critico diventi troppo semplicistico per stimare accuratamente la distanza di Wasserstein, che è essenziale per una formazione stabile GAN.
Un altro problema correlato è l'instabilità di allenamento causata dal clipping di peso. La gamma di clipping deve essere accuratamente sintonizzata: se è impostato troppo grande, il vincolo di Lipschitz è imposto in modo inadeguato, portando potenzialmente a un allenamento instabile e al crollo della modalità; Se impostato troppo piccolo, i gradienti possono svanire o diventare troppo piccoli per aggiornamenti efficaci, compromettendo l'apprendimento del modello. I gradienti di fuga si verificano in genere quando i pesi del critico vengono tagliati a valori eccessivamente bassi, specialmente nelle architetture con reti profonde, nessuna normalizzazione batch o componenti ricorrenti. Questo problema di fuga del gradiente sorge perché i pesi discriminanti si limitano a una gamma ristretta, riducendo la capacità del critico di fornire un feedback significativo al generatore durante l'allenamento.
Il clipping di peso porta anche a distribuzioni patologiche di peso. Empiricamente, molti pesi critici tendono ad accumularsi ai confini dell'intervallo di ritaglio, che limita l'espressività e la diversità dei pesi appresi. Questo effetto di saturazione impedisce l'ottimizzazione perché gli aggiornamenti del gradiente spingono ripetutamente i pesi verso i limiti di ritaglio, causando un'esplorazione di parametri inefficienti e una convergenza più lenta. Inoltre, il clipping di peso distorce il panorama di ottimizzazione, il che significa che i gradienti e la superficie di perdita di critica generale diventano meno lisci e più difficili da navigare con metodi a base di gradiente.
A causa di questi problemi, il clipping di peso può rendere difficile l'allenamento in modo affidabile ad allenare architetture critiche molto profonde. Il duro vincolo imposto dal clipping non si adatta bene a architetture di rete più grandi e complesse. Si osserva che anche con tecniche comuni come la normalizzazione batch all'interno del critico, i critici WGAN profondi spesso lottano per convergere quando viene applicato il clipping di peso. Queste limitazioni riducono la flessibilità e la capacità del modello quando si modellano complesse distribuzioni di dati del mondo reale, con conseguente scarsa qualità del campione o formazione fallita.
Gli articoli WGAN originali e le opere successive hanno riconosciuto che il clipping di peso può portare a comportamenti indesiderati in allenamento, in particolare per set di dati ad alta dimensione o complessi. Il metodo può far crollare il critico a funzioni più semplici, riducendo la qualità e la diversità dei campioni generati. Alcune ricerche sottolineano che il clipping di peso pregiudica il critico verso funzioni con gradienti costanti o una norma gradiente sostanzialmente ridotta, che contraddice il vincolo di Lipschitz ideale di avere una norma gradiente vicino a una quasi ovunque.
Per affrontare questi svantaggi, sono state proposte alternative al clipping di peso, in particolare il metodo della penalità per gradiente (WGAN-GP). A differenza del duro ritaglio, la penalità del gradiente impone un vincolo morbido penalizzando la deviazione della norma gradiente da uno, che incoraggia le funzioni critiche più fluide e realistiche. Questa penalità viene aggiunta come termine extra nella funzione di perdita, evitando il rigido confinamento dei pesi e consentendo un apprendimento critico più stabile ed espressivo. Gli approcci basati sulla penalità del gradiente migliorano significativamente la stabilità dell'allenamento, la qualità del campione e la velocità di convergenza rispetto al clipping del peso.
In sintesi, i principali problemi con il clipping di peso nei WGAN includono:
- Un duro vincolo che limita la complessità del critico, portando a discriminatori eccessivamente semplici.
- Formazione dell'instabilità dalla selezione della gamma di clipping impropria, causando gradienti di spargimento o di esplorazione.
- Distribuzioni patologiche di peso con molti pesi che saturano ai confini di ritaglio.
- Ottimizzazione inefficiente dovuta a paesaggi di perdita distorti e informazioni sul gradiente.
- scarsa scalabilità e problemi di convergenza con architetture di critica profonda.
- Una qualità inferiore dei campioni generati durante la modellazione di dati complessi.
- Espressività generale limitata e mancata manutenzione della corretta continuità di Lipschitz in modo flessibile.