Tăierea greutății este o tehnică introdusă inițial în Wasserstein Gans (WGANS) pentru a aplica constrângerea de continuitate Lipschitz cerută de metrica distanței de la Wasserstein. Deși are simplitate de calcul și un succes inițial, tăierea în greutate în WGAN -uri introduce mai multe probleme notabile care afectează stabilitatea instruirii, capacitatea modelului și performanța generală.
Una dintre problemele principale cu tăierea greutății este aceea că acționează ca o constrângere dură asupra greutăților modelului prin trunchierea lor într -un interval fix. Această operație restrictivă prejudecă criticul (discriminator în GAN -urile tradiționale) spre învățarea funcțiilor excesiv de simple, limitându -și capacitatea de a modela eficient distribuțiile complexe de date. Cliparea obligă greutățile să rămână într-o cutie mică, ceea ce duce adesea la faptul că criticul nu a captat momente de ordin superior și detalii mai fine ale datelor. Această constrângere poate face ca funcția criticului să devină prea simplistă pentru a estima cu exactitate distanța de la Wasserstein, ceea ce este esențial pentru pregătirea stabilă GaN.
O altă problemă conexă este instabilitatea instruirii cauzată de tăierea greutății. Gama de clipuri trebuie să fie reglată cu atenție: dacă este setat prea mare, constrângerea Lipschitz este aplicată inadecvat, ceea ce poate duce la o pregătire instabilă și la colapsul modului; Dacă setați prea mici, gradienții pot dispărea sau pot deveni prea mici pentru actualizări eficiente, afectarea învățării modelului. Gradienții dispăruți apar de obicei atunci când greutățile critice sunt tăiate la valori excesiv de scăzute, în special în arhitecturi cu rețele profunde, fără normalizare a lotului sau componente recurente. Această problemă de dispariție a gradientului apare deoarece greutățile discriminatorului se constrânge la o gamă restrânsă, reducând capacitatea criticului de a oferi feedback semnificativ generatorului în timpul antrenamentului.
Tăierea în greutate duce, de asemenea, la distribuții patologice de greutate. În mod empiric, multe greutăți critice tind să se acumuleze la limitele intervalului de clipuri, ceea ce restricționează expresivitatea și diversitatea greutăților învățate. Acest efect de saturație împiedică optimizarea, deoarece actualizările gradientului împing greutățile către limitele de tăiere în mod repetat, provocând explorarea parametrilor ineficienți și convergența mai lentă. În plus, tăierea în greutate denaturează peisajul de optimizare, ceea ce înseamnă că gradienții și suprafața generală a pierderii criticilor devin mai puțin netede și mai greu de navigat cu metode bazate pe gradient.
Datorită acestor probleme, tăierea în greutate poate îngreuna instruirea arhitecturilor critice foarte profunde în mod fiabil. Constrângerea grea impusă de clipuri nu se extinde bine la arhitecturi de rețea mai mari și mai complexe. Se observă că, chiar și cu tehnici comune, cum ar fi normalizarea lotului în cadrul criticului, criticii WGAN profunde se luptă adesea să convergă atunci când se aplică tăierea în greutate. Aceste limitări reduc flexibilitatea și capacitatea modelului atunci când modelarea distribuțiilor complexe de date din lumea reală, rezultând adesea o calitate slabă a eșantionului sau o pregătire eșuată.
Lucrările WGAN originale și lucrările ulterioare au recunoscut că decuparea greutății poate duce la un comportament nedorit în antrenament, în special pentru seturi de date de înaltă dimensiune sau complexe. Metoda poate determina criticul să se prăbușească la funcții mai simple, reducând calitatea și diversitatea probelor generate. Unele cercetări subliniază că clipul de greutate prejudecă criticul față de funcții cu gradienți constanți sau normă de gradient redusă substanțial, ceea ce contrazice constrângerea ideală a buzelor de a avea o normă de gradient aproape de una aproape peste tot.
Pentru a aborda aceste dezavantaje, au fost propuse alternative la tăierea greutății, în special metoda penalizării gradientului (WGAN-GP). Spre deosebire de tăierea grea, pedeapsa cu gradient impune o constrângere moale prin penalizarea abaterii normelor de gradient de la una, care încurajează funcțiile critice mai ușoare și mai realiste. Această pedeapsă este adăugată ca un termen suplimentar în funcția de pierdere, evitând limitarea rigidă a greutăților și permițând învățarea critică mai stabilă și expresivă. Abordările bazate pe penalizări ale gradientului îmbunătățesc semnificativ stabilitatea instruirii, calitatea eșantionului și viteza de convergență în comparație cu tăierea în greutate.
În rezumat, principalele probleme legate de tăierea greutății în WGAN -uri includ:
- O constrângere grea care limitează complexitatea criticului, ceea ce duce la discriminatori prea simpli.
- Instabilitate de instruire din selecția necorespunzătoare a gamei de tăiere, provocând fie dispariția sau explodarea gradienților.
- Distribuții patologice de greutate cu multe greutăți saturate la limitele de tăiere.
- Optimizare ineficientă datorată peisajelor de pierdere distorsionate și informațiilor despre gradient.
- Probleme slabe de scalabilitate și convergență cu arhitecturi critice profunde.
- Calitatea mai scăzută a eșantioanelor generate la modelarea datelor complexe.
- Expresivitate limitată generală și eșecul de a menține continuitatea corespunzătoare a Lipschitz într -o manieră flexibilă.