Метод повышения качества изображения на базе диффузионной модели с использованием опорных изображений

В статье представлен метод восстановления изображений, основанный на применении диффузионной модели с использованием опорных изображений, содержащих дополнительную информацию (референсов). Предложенный подход направлен на улучшение качества восстановления деталей изображения за счет интеграции информации из референсов. Диффузионные модели, известные своей способностью генерировать изображения высокой четкости, применяются для устранения ограничений, присущих сверточным нейронным сетям, таких как недостаточное качество изображений, восстановленных после сильных деградаций. При этом качество изображения, полученного с помощью диффузионной модели, можно дополнительно увеличить с помощью внедрения информации с референсных изображений. В данной работе описывается предлагаемая архитектура модели, описан способ ее обучения и показаны результаты сравнения с моделью, не использующей референсные изображения. Результаты экспериментов подтверждают эффективность предложенного подхода, в частности, улучшение качества результирующего изображения более чем на 9% по метрике PSNR и на 14% по метрике LPIPS.