Алгоритмы взаимной реконструкции изображений лиц на основе методов проекции в собственные подпространства

Обсуждается проблема взаимной реконструкции изображений лиц в соответствующих друг другу парах. Эта проблема была поставлена в предыдущей статье авторов, а предложенные в ней решения обсуждались с приложением к задачам гетерогенного распознавания изображений лиц (Heterogeneous Face Recognition) и кросс-модального мультимедийного поиска (Cross-Modal Multimedia Retrieval). Эти решения основаны на одномерных и двумерных методах анализа главных компонент для двух исходных наборов изображений лиц и проекции их в независимые собственные подпространства, вычислении матриц взаимной трансформации между этими подпространствами и взаимной реконструкции изображений лиц на основе одномерного и двумерного преобразований Карунена–Лоэва.
В настоящей статье предлагаются новые подходы и решения, основанные исключительно на двумерных методах проекции в собственные подпространства и двух вариантах моделей регрессии — множественной линейной регрессии и регрессии частичных наименьших квадратов.
Приведены результаты экспериментов по взаимной реконструкции изображений лиц в парах скетч/фотографии, в парах лиц с возрастными изменениями, а также в парах изображений лиц в формах 2D/3D. Для проведения экспериментов выбраны два варианта реализации предложенного подхода. Первый из них основан на двумерном анализе главных компонент и регрессии частичных наименьших квадратов, второй — на двумерном методе частичных наименьших квадратов и множественной линейной регрессии. Оба варианта показали приемлемые для практики результаты при решении задачи взаимной реконструкции изображений лиц. Кроме того, рассмотрен способ повышения качества реконструируемых изображений лиц при работе со смешанными базами. Он заключается в классификации на основе двумерного линейного дискриминантного анализа и построении регрессионной зависимости в рамках каждого класса.
Показано также, что в общем случае взаимная реконструкция изображений лиц достижима и в условиях, когда исходные изображения не входили в состав обучающих наборов изображений лиц.