Orezanie hmotnosti je technika pôvodne zavedená v Wasserstein Gans (WGAN) na presadzovanie obmedzenia kontinuity Lipschitz, ktorú vyžaduje metrika vzdialenosti Wasserstein. Aj keď má výpočtovú jednoduchosť a určitý počiatočný úspech, orezanie hmotnosti vo WGANS predstavuje niekoľko pozoruhodných problémov, ktoré ovplyvňujú stabilitu tréningu, kapacitu modelu a celkový výkon.
Jedným z hlavných problémov s orezaním hmotnosti je to, že pôsobí ako tvrdé obmedzenie hmotností modelu tým, že ich skráti v pevnom rozsahu. Táto reštriktívna prevádzka zaujme kritika (diskriminátor v tradičných GAN) voči učení sa príliš jednoduchými funkciami, čím obmedzuje jeho schopnosť efektívne modelovať komplexné distribúcie údajov. Orezanie núti závažia, aby zostali v malej škatuli, čo často vedie k tomu, že kritik nedokáže zachytiť momenty vyššieho poriadku a jemnejšie podrobnosti údajov. Toto obmedzenie môže spôsobiť, že funkcia kritika sa stane príliš zjednodušujúcou na presné odhadovanie vzdialenosti Wasserstein, ktorá je nevyhnutná pre stabilný výcvik GAN.
Ďalším súvisiacim problémom je nestabilita tréningu spôsobená orezaním hmotnosti. Rozsah orezania je potrebné starostlivo naladiť: ak je nastavený príliš veľký, obmedzenie Lipschitz sa nedostatočne presadzuje, čo potenciálne vedie k nestabilnému tréningu a zrúteniu režimu; Ak je príliš malé, gradienty môžu zmiznúť alebo sa stať príliš malými na efektívne aktualizácie, zhoršovanie modelového učenia. Vankajúce gradienty sa zvyčajne vyskytujú, keď sú kritické hmotnosti orezané na príliš nízke hodnoty, najmä v architektúrach s hlbokými sieťami, žiadnu dávkovú normalizáciu alebo opakujúce sa komponenty. Vznikne tento problém zmiznutia gradientu, pretože hmotnosti diskriminátora sú obmedzené na úzky rozsah, čím sa znižuje schopnosť kritika poskytnúť generátor počas tréningu zmysluplnú spätnú väzbu.
Orezanie hmotnosti tiež vedie k distribúcii patologickej hmotnosti. Empiricky má veľa kritických váh, ktoré sa hromadia na hraniciach rozsahu orezania, čo obmedzuje expresivitu a rozmanitosť naučených váh. Tento saturačný efekt brzdí optimalizáciu, pretože aktualizácie gradientov opakovane tlačia váhy smerom k limitom orezania, čo spôsobuje neefektívny prieskum parametrov a pomalšiu konvergenciu. Orezanie hmotnosti navyše skresľuje optimalizačnú krajinu, čo znamená, že gradienty a celková kritická strata sa stanú menej hladkou a ťažšou navigáciou metódami založenými na gradiente.
Vďaka týmto problémom môže orezanie hmotnosti sťažiť spoľahlivé trénovať veľmi hlboké kritické architektúry. Tvrdé obmedzenia uložené orezaním sa nezmenia na väčšie a zložitejšie architektúry siete. Zistilo sa, že aj pri bežných technikách, ako je normalizácia šarže v kritiku, sa kritici hlbokých WGAN často snažia konvergovať, keď sa aplikuje orezanie hmotnosti. Tieto obmedzenia znižujú flexibilitu a kapacitu modelu pri modelovaní zložitých distribúcií údajov v reálnom svete, čo často vedie k zlej kvalite vzorky alebo neúspešného školenia.
Pôvodné dokumenty WGAN a následné diela uznali, že orezanie hmotnosti môže viesť k nežiaducemu správaniu pri tréningu, najmä v prípade vysokorozmerných alebo zložitých súborov údajov. Táto metóda môže spôsobiť, že sa kritik zrúti na jednoduchšie funkcie, čím sa zníži kvalita a rozmanitosť generovaných vzoriek. Niektoré výskumy poukazujú na to, že orezanie hmotnosti zaujme kritika voči funkciám s konštantnými gradientmi alebo podstatne zníženou normou gradientu, čo je v rozpore s ideálnym obmedzením Lipschitz, že má gradientovú normu takmer všade.
Na vyriešenie týchto nevýhod boli navrhnuté alternatívy k orezaniu hmotnosti, najmä metóda gradientovej penaltu (WGAN-GP). Na rozdiel od tvrdého orezania, pokuta gradientu ukladá mäkké obmedzenie penalizáciou odchýlky normy gradientu od jedného, ktorá podporuje plynulejšie a realistickejšie kritické funkcie. Tento trest sa pridáva ako ďalší termín vo funkcii straty, vyhýba sa rigidnému uväzneniu váh a umožňuje stabilnejšie a výraznejšie kritické učenie. Prístupy založené na gradiente založené na trestoch významne zlepšujú stabilitu tréningu, kvalitu vzorky a rýchlosť konvergencie v porovnaní s orezaním hmotnosti.
Stručne povedané, hlavné problémy s orezaním hmotnosti vo WGANS zahŕňajú:
- tvrdé obmedzenie, ktoré obmedzuje kritickú zložitosť, čo vedie k príliš jednoduchým diskriminátorom.
- Nestabilita tréningu z nesprávneho výberu rozsahu orezania, spôsobuje buď miznúce alebo explodujúce gradienty.
- Distribúcia patologickej hmotnosti s mnohými váhami nasýtením pri hraniciach orezania.
- Neefektívna optimalizácia v dôsledku skreslenej krajiny straty a informácií o gradientoch.
- Zlá škálovateľnosť a problémy s konvergenciou s hlbokými kritickými architektúrami.
- nižšia kvalita generovaných vzoriek pri modelovaní zložitých údajov.
- Celková obmedzená výraznosť a neschopnosť udržiavať správnu kontinuitu Lipschitz flexibilným spôsobom.