Реализация автоматической системы многомодального распознавания речи по аудио- и видеоинформации

Представлена математическая модель и программная реализация автоматической системы распознавания русской речи с применением методов цифровой обработки и анализа аудиовизуальных сигналов от микрофона и видеокамеры. Приведено описание вероятностного моделирования аудиовизуальной речи на основе математического аппарата сдвоенных скрытых марковских моделей, методов объединения информации с применением весовых коэффициентов аудио- и видеомодальностей речи и параметрического представления сигналов. Количественные результаты по многомодальному распознаванию слитной русской речи свидетельствуют о высокой точности и надежности работы автоматической системы.

Статья представлена к публикации членом редколлегии: А. В. Бернштейн