Відсікання ваги - це техніка, спочатку введена в Wasserstein Gans (WGANS) для виконання обмеження безперервності Ліпшица, необхідного метриці відстані Вассерштейна. Незважаючи на те, що він має обчислювальну простоту та певний початковий успіх, відсікання ваги в WGAN вводить кілька помітних питань, які впливають на стабільність тренувань, потужність моделі та загальну продуктивність.
Однією з головних проблем із відсіканням ваги є те, що вона діє як важке обмеження ваги моделі, обрізаючи їх у фіксованому діапазоні. Ця обмежувальна операція упереджує критику (дискримінатор у традиційних GANS) до вивчення надмірно простих функцій, обмежуючи його здатність ефективно моделювати складні розподіли даних. Відсікання змушує ваги залишатися в невеликій коробці, що часто призводить до того, що критик не зможе зафіксувати моменти вищого порядку та більш тонкі деталі даних. Це обмеження може призвести до того, що функція критика стане занадто спрощеною, щоб точно оцінити відстань Вассерштейна, що має важливе значення для стабільного тренування GAN.
Ще одне пов'язане питання - це нестабільність тренувань, спричинена ваги. Діапазон відсікання потрібно ретельно налаштовувати: якщо він встановлений занадто великим, обмеження Ліпшица недостатньо застосоване, що може призвести до нестабільного колапсу тренувань та режиму; Якщо встановити занадто мало, градієнти можуть зникнути або стати занадто малими для ефективних оновлень, погіршення навчання моделі. Зниження градієнтів, як правило, виникають, коли критичні ваги вирізаються до надмірно низьких значень, особливо в архітектурах з глибокими мережами, без нормалізації партії або рецидивуючих компонентів. Ця проблема зникнення градієнта виникає через те, що ваги дискримінатора обмежуються вузьким діапазоном, зменшуючи здатність критика надати змістовний відгук генератора під час тренувань.
Відсікання ваги також призводить до розподілу патологічної ваги. Емпірично багато критичних ваг, як правило, накопичуються на межах діапазону відсікання, що обмежує виразність та різноманітність вивчених ваг. Цей ефект насичення перешкоджає оптимізації, оскільки оновлення градієнта неодноразово підштовхують до обмежень відсікання, викликаючи неефективне дослідження параметрів та повільну конвергенцію. Крім того, обрізання ваги спотворює пейзаж оптимізації, що означає, що градієнти та загальна поверхня втрат критики стають менш гладкими та важче орієнтуватися з методами на основі градієнта.
Завдяки цим питанням відсікання ваги може ускладнити надійно навчити дуже глибокі критичні архітектури. Жорстке обмеження, накладене на відсікання, не масштабується добре до більших і складніших мережевих архітектур. Спостерігається, що навіть із загальними методами, такими як нормалізація партії в критиці, глибокі критики WGAN часто намагаються сходити, коли застосовується відсікання ваги. Ці обмеження знижують гнучкість та потужність моделі при моделюванні складних розподілів даних у реальному світі, що часто призводить до низької якості вибірки або невдалої підготовки.
Оригінальні папери WGAN та наступні роботи визнали, що відсікання ваги може призвести до небажаної поведінки на тренуванні, особливо для високовимірних або складних наборів даних. Метод може призвести до того, що критик розвалиться на простіші функції, знижуючи якість та різноманітність генерованих зразків. Деякі дослідження зазначають, що вага відрізає критику до функцій з постійними градієнтами або суттєво зниженою градієнтною нормою, що суперечить ідеальному обмеженню Ліпшіца наявності градієнтної норми, близької до однієї майже скрізь.
Для вирішення цих недоліків запропоновано альтернативи відсікання ваги, особливо це стосується методу градієнтного покарання (WGAN-GP). На відміну від жорсткого відсікання, градієнтне покарання накладає м'яке обмеження шляхом штрафування відхилення градієнтної норми від одного, що заохочує більш плавні та реалістичні критичні функції. Це покарання додається як додатковий термін у функції втрат, уникаючи жорсткого ув'язнення ваги та дозволяє отримати більш стабільне та виразне критичне навчання. Підходи на основі градієнтів на основі штрафу значно покращують стабільність тренувань, якість вибірки та швидкість конвергенції порівняно з відсіканням ваги.
Підсумовуючи це, основні проблеми з відсіканням ваги в WGAS включають:
- жорстке обмеження, яке обмежує критичну складність, що призводить до надмірно простих дискримінаторів.
- Нестабільність тренувань від неправильного відсікання відсікання, що спричиняє або зникаючі, або вибухаючі градієнти.
- Патологічні розподіл ваги з багатьма вагами, що насичуються в межах відсікання.
- Неефективна оптимізація за рахунок спотворених ландшафтів втрат та градієнтної інформації.
- Погана масштабованість та проблеми з конвергенцією з глибокими критичними архітектурами.
- нижча якість генерованих зразків при моделюванні складних даних.
- Загальна обмежена виразність та невиконання належної безперервності Ліпшица гнучко.