Исследование влияния адаптивной спектральной нормализации на качество генеративных моделей и стабильность их обучения

При использовании для обучения генеративно-состязательных сетей (GAN) функции потерь, основанной на расстоянии Вассерштейна (т.н. Wasserstein GAN), теоретически необходимым является ограничение выразительной способности дискриминатора (нормализация дискриминатора). Такое ограничение повышает стабильность обучения GAN ценой меньшей выразительности итоговой модели. Спектральная нормализация является одним из алгоритмов нормализации и заключается в применении фиксированной операции независимо к каждому слою дискриминатора. Однако для разных задач оптимальная сила ограничения дискриминатора различается, поэтому возникает необходимость в параметризованном методе нормализации. В данной работе предлагаются варианты модификации алгоритма спектральной нормализации, позволяющие изменять силу ограничения дискриминатора. Помимо параметризации, в предлагаемых методах сила ограничения может меняться во время обучения в отличие от оригинального алгоритма. Для каждого из предложенных методов исследуется качество получаемых моделей.