RUS  ENG
Полная версия
ЖУРНАЛЫ // Ученые записки УлГУ. Серия "Математика и информационные технологии" // Архив

Ученые записки УлГУ. Серия "Математика и информационные технологии", 2020, выпуск 2, страницы 30–34 (Mi ulsu10)

Мобильное приложение для перевода с языка жестов в режиме реального времени

А. В. Копылов, М. А. Волков

УлГУ, Ульяновск, Россия

Аннотация: В работе дано описание программного продукта, позволяющего осуществлять перевод дактильной речи американского жестового языка на буквы английского языка. Многопоточное мобильное приложение на базе ОС Android для распознавания жестов использует натренированную сверточную нейронную сеть с архитектурой ResNet18 с подобранными гиперпараметрами модели сети и выбранными параметрами аугментации. Одним из важных преимуществ данного продукта является возможность работы в режиме реального времени на мобильных устройствах, без использования сети Интернет. Разработанный прототип мобильного приложения является универсальным, что позволяет при смене языка заменить только файл с моделью нейронной сети (при условии схожести их архитектур) и файл с буквами - классами.

Ключевые слова: мобильное приложение, язык жестов, дактильная речь, сверточные нейронные сети, Android, Python, Kotlin.

УДК: 004.94

Поступила в редакцию: 27.05.2020
Исправленный вариант: 12.07.2020
Принята в печать: 15.07.2020



© МИАН, 2024