Применение биспектрального анализа в обнаружении deepfake-изображений

По мере того как инструменты синтеза deepfake-изображений становятся все более мощными и доступными, растет потребность в разработке методов обнаружения сгенерированного контента. В работе исследуются перспективы применения биспектрального анализа как инструмента обнаружения deepfake-изображений, сгенерированных нейросетями GAN (generative adversarial network). Показано, что спектральные корреляции более высокого порядка, выявленные с помощью биспектрального анализа, в меньшей мере присутствуют в реальных изображениях по сравнению с изображениями, сгенерированными с помощью GAN. Эти корреляции, вероятно, отражают фундаментальные свойства процесса синтеза изображений. Причиной могут быть нелинейности, вносимые при синтезе изображений, а также недостаточная обработка сигналов, вызывающая наложение спектров в сети генератора нейросети GAN. Была проведена процедура кластеризации для обнаружения сгенерированных изображений. Были получены обнадеживающие результаты: сгенерированные изображения определялись с точностью до 80%.