Tiled physical adversarial patch for no-reference video quality metrics

Объективные метрики качества изображений и видео без эталона играют ключевую роль во многих задачах компьютерного зрения. Однако современные метрики без эталона стали основываться на обучении и уязвимы перед состязательными атаками. Уязвимость метрик качества накладывает ограничения на использование таких метрик в системах контроля качества и при сравнении объективных алгоритмов. Кроме того, использование уязвимых метрик в качестве функции потерь при обучении моделей глубокого обучения может привести к ухудшению визуального качества. В связи с этим тестирование метрик качества на уязвимость является актуальной задачей. В настоящей работе предлагается новый метод тестирования уязвимости метрик качества в физическом пространстве. Насколько нам известно, метрики качества ранее не тестировались на уязвимость к такой атаке; они тестировались только в пиксельном пространстве. Мы применили физическую состязательную атаку Ti-Patch – плиточный патч – к метрикам качества и провели эксперименты как в пиксельном, так и в физическом пространстве. Также мы провели эксперименты по реализации физических состязательных “обоев”. Предложенный метод может быть использован как дополнительная метрика качества при оценке уязвимости, дополняя традиционные субъективные сравнения и тесты уязвимости в пиксельном пространстве. Мы разместили наш код и адверсиальные видео на GitHub: https://github.com/leonenkova/Ti-Patch. Библ. – 39 назв.