RUS  ENG
Полная версия
ЖУРНАЛЫ // Сибирский журнал индустриальной математики // Архив

Сиб. журн. индустр. матем., 2001, том 4, номер 2, страницы 142–153 (Mi sjim140)

Эта публикация цитируется в 7 статьях

Однопараметрические вероятностные модели статистик текста

Н. С. Закревская, А. П. Ковалевский

Новосибирский государственный технический университет

Аннотация: Объектомизучения являются статистики текста на естественном языке. Исследуется адекватность моделирования этих статистик с помощью однопараметрических вероятностных распределений: Мандельброта с бесконечным носителем, Ципфа, геометрического. Текст моделируется последовательностью независимых одинаково распределенных случайных величин. Программно реализован подсчет статистик текста. Монотонная зависимость математического ожидания числа разных слов в тексте от параметра в каждой из исследуемых моделей позволяет строить оценки по методу подстановки. Реализованы алгоритмы отыскания оценок параметров и алгоритмы нахождения реально достигнутого уровня значимости. Проведен анализ ряда поэтических текстов на русском, английском, немецком, французском языках. Выявлены зависимости параметров от языка и от года написания стихотворения.

УДК: 519.237.5

Статья поступила: 18.06.2001



Реферативные базы данных:


© МИАН, 2024