Svorio kirpimas yra technika, iš pradžių pristatyta Wasserstein Gans (WGAN), kad būtų galima įgyvendinti „Lipschitz“ tęstinumo apribojimą, kurio reikalauja Wassersteino atstumo metric. Nors jis turi skaičiavimo paprastumą ir tam tikrą pradinę sėkmę, WGAN svorio kirpimas pristato keletą pastebimų problemų, turinčių įtakos mokymo stabilumui, modelio pajėgumui ir bendram našumui.
Viena iš pagrindinių svorio kirpimo problemų yra ta, kad ji veikia kaip sunkus modelio svorių suvaržymas, sutrumpindamas juos fiksuotame diapazone. Ši ribojanti operacija nukreipia kritiką (diskriminatorių tradiciniuose GANS), kad mokytųsi pernelyg paprastų funkcijų, ir riboja jo gebėjimą efektyviai modeliuoti sudėtingus duomenų paskirstymus. „Clipping“ jėgos svarsto, kad liktų mažoje dėžutėje, o tai dažnai lemia, kad kritikas nesugeba užfiksuoti aukštesnės eilės momentų ir smulkesnės duomenų detalės. Dėl šio suvaržymo kritiko funkcija gali tapti per daug supaprastinta, kad būtų galima tiksliai įvertinti Wassersteino atstumą, kuris yra būtinas stabiliam GAN mokymui.
Kita susijusi problema yra mokymo nestabilumas, kurį sukelia svorio kirpimas. Karpymo diapazoną reikia kruopščiai suderinti: jei jis nustatytas per didelis, „Lipschitz“ apribojimas yra netinkamai vykdomas, gali sukelti nestabilų treniruotę ir režimo žlugimą; Jei nustatyta per maža, nuolydžiai gali išnykti arba tapti per maži veiksmingiems atnaujinimams, o tai pakenkia modelio mokymui. Paprastai nykstantys gradientai atsiranda, kai kritikų svoriai yra perpjauti iki pernelyg mažų verčių, ypač architektūrose, turinčiose gilius tinklus, be partijos normalizavimo ar pasikartojančių komponentų. Ši gradiento nykimo problema iškyla todėl, kad diskriminatoriaus svoris yra suvaržytas iki siauros diapazono, ir tai sumažina kritiko sugebėjimą teikti prasmingą grįžtamąjį ryšį generatoriui mokymo metu.
Svorio kirpimas taip pat lemia patologinį svorio pasiskirstymą. Empiriškai daugelis kritikų svorių dažniausiai kaupiasi ties kirpimo diapazono ribomis, o tai riboja išmokto svorio išraiškingumą ir įvairovę. Šis prisotinimo efektas sukelia optimizavimą, nes gradiento atnaujinimai pakartotinai nukreipia svorį link kirpimo ribų, sukeldami neefektyvų parametrų tyrinėjimą ir lėtesnį konvergenciją. Be to, svorio kirpimas iškraipo optimizavimo kraštovaizdį, o tai reiškia, kad gradientai ir bendras kritiko nuostolių paviršius tampa ne tokie sklandūs ir sunkiau naršyti naudojant gradientų pagrindu.
Dėl šių problemų dėl svorio kirpimo gali būti sunku patikimai treniruotis labai giliai kritikų architektūroms. Klijavimo metu nustatytas kietas apribojimas nėra tinkamas didesnėms ir sudėtingesnėms tinklo architektūroms. Pastebėta, kad net ir naudojant įprastus metodus, tokius kaip partijos normalizavimas kritikoje, giliai WGAN kritikai dažnai stengiasi suartėti, kai pritaikomas svorio kirpimas. Šie apribojimai sumažina modelio lankstumą ir pajėgumus modeliuojant sudėtingus realaus pasaulio duomenų paskirstymus, dažnai leidžiant prastą mėginių kokybę ar nesėkmingą mokymą.
Originalūs WGAN dokumentai ir vėlesni darbai pripažino, kad svorio kirpimas gali sukelti nepageidaujamą elgesį treniruotėse, ypač esant aukšto matmens ar sudėtingoms duomenų rinkiniams. Šis metodas gali priversti kritiką žlugti paprastesnėmis funkcijomis, sumažindamas sugeneruotų mėginių kokybę ir įvairovę. Kai kurie tyrimai pabrėžia, kad svorio kirpimas nukreipia kritiką į funkcijas su nuolatiniais gradientais arba iš esmės sumažinta gradiento norma, o tai prieštarauja idealiam „Lipschitz“ suvaržymui, kad gradiento norma būtų arti beveik visur.
Norint išspręsti šiuos trūkumus, buvo pasiūlytos svorio kirpimo alternatyvos, ypač gradiento baudos (WGAN-GP) metodas. Skirtingai nuo kieto kirpimo, gradiento bausmė nustato minkštą suvaržymą, nubausdamas nuolydžio normos nukrypimą nuo vieno, o tai skatina sklandesnes ir realistiškesnes kritikų funkcijas. Ši bausmė pridedama kaip papildomas praradimo funkcijos terminas, išvengiant griežto svorio uždarymo ir leidžiant stabilesnį ir išraiškingesnį kritiką. Gradiento bausmės metodai žymiai pagerina treniruočių stabilumą, mėginių kokybę ir konvergencijos greitį, palyginti su svorio kirpimu.
Apibendrinant galima pasakyti, kad pagrindinės svorio kirpimo WGAN problemos apima:
- Sunkus suvaržymas, ribojantis kritiką, sukelia pernelyg paprastus diskriminatorius.
- Treniruotės nestabilumas dėl netinkamo kirpimo diapazono pasirinkimo, sukeliantis nykimo ar sprogimo gradientus.
- Patologinis svorio pasiskirstymas, kai daug svorio prisotinant iškepimo ribas.
- Neefektyvus optimizavimas dėl iškraipytų nuostolių peizažų ir gradiento informacijos.
- Prastos mastelio ir konvergencijos problemos, susijusios su giliai kritikų architektūra.
- Modeliuojant sudėtingus duomenis, mažesnė sugeneruotų mėginių kokybė.
- Bendras ribotas ekspresyvumas ir nesugebėjimas išlaikyti tinkamo „Lipschitz“ tęstinumo lanksčiai.