Recovering text sequences using deep learning models

В статье приведены результаты формирования, обучения и оценки качества работы моделей с архитектурами Encoder-Decoder и Sequence-To-Sequence (Seq2Seq) для решения задачи дополнения неполных текстов. Задачи такого типа достаточно часто возникают при восстановлении содержимого документов по их некачественным изображениям. Проведённые в работе исследования ориентированы на решение практической задачи формирования электронных копий отсканированных документов ППК «Роскадастр», распознавание которых стандартными средствами затруднительно или невозможно.
Формирование и исследование моделей осуществлялось на языке Python с использованием высокоуровневого API пакета Keras. С целью обучения и исследования моделей был сформирован набор данных, состоящий из нескольких тысяч пар. Каждая пара этого набора представляла собой неполный и соответствующий ему полный тексты. Для оценки качества работы моделей осуществлялось вычисление значений функции потерь loss и метрик accuracy, BLEU и ROUGE-L. Loss и accuracy позволили оценить эффективность моделей на уровне предсказания отдельных слов. Метрики BLEU и ROUGE-L использовались для оценки сходства между полными и восстановленными текстами. Полученные результаты показали, что обе модели Encoder-Decoder и Seq2Seq справляются с задачей восстановления текстовых последовательностей из их фиксированного множества, однако модель на основе трансформера Seq2Seq позволяет достичь лучших результатов по скорости и качеству обучения.