RUS  ENG
Полная версия
ЖУРНАЛЫ // Искусственный интеллект и принятие решений // Архив

Искусственный интеллект и принятие решений, 2018, выпуск 3, страницы 69–77 (Mi iipr217)

Эта публикация цитируется в 1 статье

Обработка естественного языка

Классификация текстовых документов с использованием вероятностной тематической модели

С. Н. Карповичa, А. В. Смирновb, Н. Н. Тесляb

a АО "Олимп", г. Москва, Россия
b Санкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, Россия

Аннотация: Предложен подход к классификации текстовых документов с использованием вероятностной тематической модели, отличающейся тем, что обучающее множество документов представлено экземплярами одного класса. Этот подход позволяет отбирать положительные экземпляры, похожие на заданный класс, из коллекций и потоков текстовых документов. Рассмотрены модели, обучаемые на экземплярах одного класса, решающие задачи классификации в применении к текстовым документам, обозначены их ключевые особенности. Представлена модель классификации Positive Example Based Learning-TM и разработан программный прототип, реализующий классификацию текстовых документов на ее основе. Не имея представления об отрицательных экземплярах документов, она демонстрирует высокую точность классификации, превышающую альтернативные подходы. Экспериментально доказано превосходство Positive Example Based Learning-TM по критерию точности классификации при малом объеме обучающей выборки.

Ключевые слова: классификация, бинарная классификация, тематическое моделирование, обработка текста на естественном языке.

DOI: 10.14357/20718594180317


 Англоязычная версия: , 2019, 46:5, 314–320

Реферативные базы данных:


© МИАН, 2024