RUS  ENG
Полная версия
ЖУРНАЛЫ // Препринты Института прикладной математики им. М. В. Келдыша РАН // Архив

Препринты ИПМ им. М. В. Келдыша, 2023, 066, 11 стр. (Mi ipmp3198)

Разработка метода обработки видео, повышающего оценку метрики качества VMAF на основе её дистилляции

А. В. Соловьев, А. В. Анциферова, Д. С. Ватолин, В. А. Галактионов


Аннотация: В данной работе рассматривается задача создания метода предобработки видео, повышающего оценку его качества методом Video Multimethod Assessment Fusion (VMAF). В работе описан нейросетевой метод для автоматической предобработки входного видео, работающий в режиме реального времени. Предобработка осуществляется глубокой нейронной сетью с архитектурой на базе U-Net. В ходе обучения сети используется обучаемая аппроксимация VMAF. В работе описаны способы улучшения качества работы итогового метода, а именно использование SSIM в функции потерь и фильтрация обучающей выборки. Итоговая версия метода повышает VMAF исходного видео в среднем на 18% после предобработки. Разработанный метод позволяет оценить надежность метода оценки качества видео VMAF и демонстрирует уязвимости метода, которые могут использоваться разработчиками алгоритмов обработки видео для повышения рейтингов их методов в ходе автоматического сравнения результатов работы по оценке качества VMAF.

Ключевые слова: оценка качества видео, анализ устойчивости, дистилляция нейронной сети, состязательные атаки.

DOI: 10.20948/prepr-2023-66



© МИАН, 2024