Kaalu lõikamine on tehnika, mida algselt tutvustati Wasserstein GANS -is (WGANS), et jõustada Wassersteini kauguse mõõdiku poolt nõutav lipschitzi järjepidevuse piirang. Ehkki sellel on arvutuslik lihtsus ja teatav esialgne edu, tutvustab WGANS -i kaalu lõikamine mitmeid tähelepanuväärseid probleeme, mis mõjutavad treeningu stabiilsust, mudeli mahtu ja üldist jõudlust.
Üks peamisi raskuse kärpimisega seotud probleeme on see, et see toimib mudeli raskuste raske piiranguna, kärpides neid fikseeritud vahemikku. See piirav operatsioon kallutab kriitikut (diskrimineerija traditsioonilistes GAN -des) liiga lihtsate funktsioonide õppimiseks, piirates selle võimet keerukate andmete jaotuste tõhusaks modelleerimiseks. Lõikamine sunnib raskusi väikeses kastis viibima, mis viib sageli selleni, et kriitik ei suuda jäädvustada kõrgema järgu hetki ja andmete peenemaid üksikasju. See piirang võib põhjustada kriitiku funktsiooni liiga lihtsustamiseks, et Wassersteini kaugust täpseks hinnata, mis on stabiilse GAN -i treeningu jaoks hädavajalik.
Teine sellega seotud teema on raskuse lõikamise põhjustatud koolituse ebastabiilsus. Lõikevahemik tuleb hoolikalt häälestada: kui see on liiga suureks seatud, jõustatakse Lipschitzi piirangut ebapiisavalt, mis võib potentsiaalselt ebastabiilse treenimise ja režiimi kokkuvarisemiseni; Kui seatud liiga väikesed, võivad gradiendid kaduda või muutuda tõhusate värskenduste jaoks liiga väikeseks, kahjustades mudeliõpet. Kaduvad gradiendid tekivad tavaliselt siis, kui kriitikute raskused on liiga madalatele väärtustele klammerdatud, eriti sügavate võrkudega arhitektuuride, partii normaliseerimise või korduvate komponentide korral. See gradiendi kadumisprobleem tekib seetõttu, et diskrimineerija kaal on piiratud kitsa vahemikuga, vähendades kriitiku võimet anda generaatorile treenimise ajal generaatorile sisulist tagasisidet.
Kaalu lõikamine põhjustab ka patoloogilist kaalu jaotust. Empiiriliselt kipuvad paljud kriitikute raskused kogunema lõikamisvahemiku piiridesse, mis piirab õpitud kaalu ekspressiivsust ja mitmekesisust. See küllastusefekt takistab optimeerimist, kuna gradiendiuuendused suruvad korduvalt raskusi kärpimispiiride poole, põhjustades ebaefektiivset parameetrite uurimist ja aeglasemat lähenemist. Lisaks moonutab kaalu lõikamine optimeerimismaastikku, mis tähendab, et gradiendipõhiste meetoditega navigeeritakse gradiente ja üldist kriitiku kaotuse pinda vähem siledamaks ja raskemaks.
Nende probleemide tõttu võib kaalu lõikamine raskendada väga sügava kriitiku arhitektuuride koolitamist usaldusväärselt. Lõikega kehtestatud kõva piirang ei ulatu hästi suurematele ja keerukamatele võrguarhitektuuridele. Täheldatakse, et isegi tavaliste tehnikate, nagu näiteks partii normaliseerimine kriitikus, näevad sügavad WGAN -i kriitikud sageli kaalu lõikamise rakendamisel lähenema. Need piirangud vähendavad mudeli paindlikkust ja võimekust keerukate andmete jaotuste modelleerimisel, põhjustades sageli kehva kvaliteeti või ebaõnnestunud koolitust.
Algsed WGAN-i paberid ja järgnevad teosed on tunnistanud, et kaalu lõikamine võib treenimisel põhjustada soovimatut käitumist, eriti kõrgmõõtmeliste või keerukate andmekogumite puhul. Meetod võib põhjustada kriitiku kokkuvarisemise lihtsamate funktsioonideni, vähendades genereeritud proovide kvaliteeti ja mitmekesisust. Mõned uuringud juhivad tähelepanu sellele, et kaalu lõikamine eraldab kriitiku püsivate gradientide või oluliselt vähenenud gradiendi normi funktsioonide suhtes, mis on vastuolus ideaalse lipschitzi piiranguga, kui gradiendi norm on peaaegu kõikjal.
Nende puuduste käsitlemiseks on välja pakutud alternatiivid kaalu lõikamise, eriti gradiendi karistuse (WGAN-GP) meetodil. Erinevalt kõva lõikega kehtestab gradiendi karistus pehmet piirangut, karistades gradiendi normi kõrvalekallet ühest, mis soodustab sujuvamat ja realistlikumat kriitikufunktsioone. See karistus lisatakse kahjumisfunktsiooni täiendava terminina, vältides raskuste jäiga kinnipidamist ja võimaldades stabiilsemat ja väljendusrikkamat kriitikut õppida. Gradiendi karistuspõhised lähenemisviisid parandavad oluliselt treeningu stabiilsust, proovide kvaliteeti ja lähenemiskiirust võrreldes kaalu lõikamisega.
Kokkuvõtlikult hõlmavad WGAN -i kaalude lõikamise peamised probleemid:
- Raske piirang, mis piirab kriitikut keerukust, põhjustades liiga lihtsaid diskrimineerijaid.
- Treeningu ebastabiilsus ebaõige lõikevahemiku valikust, põhjustades kas kadumise või plahvatavaid gradiente.
- Patoloogilise kaalu jaotus, milles on palju raskusi, mis on lõikepiirides küllastunud.
- moonutatud kaotusmaastike ja gradiendi teabe ebaefektiivne optimeerimine.
- Halb mastaapsus ja lähenemisprobleemid sügavate kriitikute arhitektuuridega.
- Loodud proovide madalam kvaliteet keerukate andmete modelleerimisel.
- Üldine piiratud ekspressiivsus ja nõuetekohase lipschitzi järjepidevuse säilitamine paindlikul viisil.