Мультимедийный программный комплекс для создания словаря русского жестового языка

Исследуется возможность компьютерного сурдоперевода русского жестового языка, основой которого является словарь. Проанализированы современные мультимедийные словари жестового языка с точки зрения их использования при автоматическом сурдопереводе. Обоснована перспективность использования анимированного персонажа (аватара) для демонстрации жестов и применения нотаций жестового языка для управления им. Проведен анализ современных нотаций жестового языка. Приведены обоснования использования нотации Димскис в качестве перспективной для разработки словаря русского жестового языка. Использование современного кроссплатформенного графического пакета Unity3D для создания модели анимированного сурдопереводчика позволяет создать экономичную и эффективную систему. Функционал пакета Unity3D доступен и удовлетворяет всем требованиям по работе с аватаром. Рассматриваются основные характеристики нотации Димскис и особенности использования элементов нотации при компьютерной реализации. Описана многоуровневая структура программного комплекса для создания справочника жестового языка. Иерархическая структура построения дерева анимаций позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить пользователю простую доступность всех необходимых элементарных анимаций. Применение нотации Димскис позволяет пользователям, знакомым с русским жестовым языком, самостоятельно пополнять словарь терминов, использование справочника предполагается для демонстрации дактилем и слов, а также составных словосочетаний. Предложенный подход предоставляет возможность создания «уроков» по определенным темам.