Przycinanie wagi to technika pierwotnie wprowadzona w Wasserstein Gans (WGAN) w celu egzekwowania ograniczenia ciągłości Lipschitz wymagane przez metrykę odległości Wassersteina. Chociaż ma obliczeniową prostotę i początkowe sukces, przycinanie wagi w WGAN wprowadza kilka znaczących problemów, które wpływają na stabilność treningu, pojemność modelu i ogólną wydajność.
Jednym z głównych problemów z przycinaniem masy ciała jest to, że działa on jako trudne ograniczenie wag modelu poprzez obcinanie ich w ustalonym zakresie. Ta restrykcyjna operacja uprzedza krytyka (dyskryminator w tradycyjnych gansach) w kierunku uczenia się zbyt prostych funkcji, ograniczając jego zdolność do skutecznego modelowania złożonych rozkładów danych. Wycinek zmusza ciężary do pozostania w małym pudełku, co często prowadzi do krytyka, który nie uchwycił momentów wyższego rzędu i drobniejszych szczegółów danych. Ograniczenie to może spowodować, że funkcja krytyka staje się zbyt uproszczona, aby dokładnie oszacować odległość Wasserstein, która jest niezbędna do stabilnego treningu GAN.
Innym powiązanym problemem jest niestabilność treningu spowodowana przycinaniem wagi. Zakres przycinania musi być starannie dostrojony: jeśli jest ustawiony zbyt duży, ograniczenie Lipschitz jest niewystarczająco egzekwowane, potencjalnie prowadzące do niestabilnego treningu i upadku trybu; Jeśli ustawiono zbyt małe, gradienty mogą zniknąć lub stać się zbyt małe, aby uzyskać skuteczne aktualizacje, upośledzając uczenie się modelu. Znikające gradienty zwykle występują, gdy ciężary krytyki są przycinane do nadmiernie niskich wartości, szczególnie w architekturach z głębokimi sieciami, bez normalizacji partii lub nawracających elementów. Ten problem znikania gradientu pojawia się, ponieważ ciężary dyskryminacyjne są ograniczone do wąskiego zasięgu, zmniejszając zdolność krytyka do dostarczania sensownego informacji zwrotnej generatorowi podczas treningu.
Przycinanie wagi prowadzi również do patologicznych rozkładów wagi. Empirycznie wiele ciężarów krytyków ma tendencję do gromadzenia się na granicach zasięgu przycinania, co ogranicza ekspresję i różnorodność wyuczonych wag. Ten efekt nasycenia utrudnia optymalizację, ponieważ aktualizacje gradientu wielokrotnie popychają ciężary w kierunku ograniczeń przycinania, powodując nieefektywną eksplorację parametrów i wolniejszą zbieżność. Ponadto przycinanie wagi zniekształca krajobraz optymalizacji, co oznacza, że gradienty i ogólna powierzchnia straty krytyki stają się mniej gładkie i trudniejsze w nawigacji metodami opartymi na gradientach.
Z powodu tych problemów przycinanie wagi może utrudnić niezawodne szkolenie architektur krytyków. Ciężkie ograniczenie nałożone przez przycinanie nie skaluje się dobrze do większych i bardziej złożonych architektur sieciowych. Zauważa się, że nawet przy wspólnych technikach, takich jak normalizacja partii w ramach krytyka, głębokich krytyków Wgan często walczy o zbieżność po przycinaniu wagi. Ograniczenia te zmniejszają elastyczność i pojemność modelu podczas modelowania złożonych rozkładów danych rzeczywistych, często powodując słabą jakość próbki lub nieudane szkolenie.
Oryginalne dokumenty WGAN i kolejne prace potwierdziły, że przycinanie wagi może prowadzić do niepożądanego zachowania podczas treningu, szczególnie w przypadku wysokości lub złożonych zestawów danych. Metoda może spowodować upadek krytyka do prostszych funkcji, zmniejszając jakość i różnorodność wygenerowanych próbek. Niektóre badania wskazują, że odchylenie ciężaru odchyla się krytyka w kierunku funkcji o stałych gradientach lub zasadniczo zmniejszonej normie gradientu, co jest sprzeczne z idealnym ograniczeniem Lipschitz posiadania norm gradientu blisko jednego prawie wszędzie.
Aby zająć się tymi wadami, zaproponowano alternatywy dla przycinania masy ciała, w szczególności metodę kary gradientu (WGAN-GP). W przeciwieństwie do twardego przycinania, kara gradientu nakłada miękkie ograniczenie, karając odchylenie norm gradientu od jednego, co zachęca do gładszych i bardziej realistycznych funkcji krytyków. Kara ta jest dodawana jako dodatkowy termin w funkcji utraty, unikając sztywnego ograniczenia ciężarów i umożliwiając bardziej stabilne i ekspresyjne uczenie się krytyków. Podejścia oparte na gradiencie oparte na karach znacznie poprawiają stabilność treningu, jakość próbek i szybkość konwergencji w porównaniu z przycinaniem wagi.
Podsumowując, główne problemy z przycinaniem wagi w Wgans obejmują:
- Trudne ograniczenie, które ogranicza złożoność krytyki, co prowadzi do zbyt prostych dyskryminatorów.
- Niestabilność szkolenia z niewłaściwego wyboru zasięgu przycinania, powodując gradienty znikania lub eksplodujące.
- Patologiczne rozkłady masy ciała z wieloma ciężarami nasycającymi granice przycinania.
- Nieefektywna optymalizacja z powodu zniekształconych krajobrazów strat i informacji o gradiencie.
- Słaba skalowalność i problemy z konwergencją z głębokim architekturami krytyków.
- Niższa jakość generowanych próbek podczas modelowania złożonych danych.
- Ogólna ograniczona ekspresyjność i brak utrzymania właściwej ciągłości Lipschitz w elastyczny sposób.