RUS  ENG
Полная версия
ЖУРНАЛЫ // Компьютерная оптика // Архив

Компьютерная оптика, 2023, том 47, выпуск 5, страницы 806–815 (Mi co1182)

Эта публикация цитируется в 2 статьях

ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ

Распознавание выражений лиц на основе адаптации классификатора видеоданных пользователя

Е. Н. Чураевa, А. В. Савченкоab

a Национальный исследовательский университет Высшая школа экономики, Лаборатория алгоритмов и технологий анализа сетевых структур, 603093, Россия, г. Нижний Новгород, ул. Родионова, д. 136
b Сбер, Лаборатория искусственного интеллекта, 121170, Россия, г. Москва, Кутузовский проспект д. 32, строение 2

Аннотация: В настоящей работе предложен метод распознавания выражений лиц по видео, позволяющий значительно увеличить точность при помощи адаптации модели к эмоциям конкретного пользователя, например, владельца мобильного устройства. На первом этапе ней-росетевая модель, предварительно обученная распознавать выражения лиц на статических фото, применяется для извлечения визуальных признаков лиц на каждом видеокадре. Далее они агрегируются в единый дескриптор для короткого фрагмента видео, после чего обучается нейросетевой классификатор. На втором этапе предлагается выполнить адаптацию этого классификатора с использованием небольшого набора видеоданных с выражениями лиц конкретного пользователя. После принятия решения пользователь может корректировать предсказанные эмоции для дальнейшего повышения точности персональной модели. В рамках экспериментального исследования для набора данных RAVDESS показано, что подход с адаптацией модели под конкретного пользователя позволяет значительно (на 20 – 50%) повысить точность распознавания выражений лиц по видео.

Ключевые слова: распознавание выражений лиц, адаптация нейросетевого классификатора, распознавание лиц

Поступила в редакцию: 30.12.2022
Принята в печать: 15.04.2023

DOI: 10.18287/2412-6179-CO-1269



© МИАН, 2024