База коннекторов русского языка Рускон: проблемы и задачи представления лексикографических данных. Часть 2

Тема 2-й части: «Составные коннекторы в базе Рускон: союзы, коннекторы и свободные сочетания»
Вторая часть доклада посвящена проблемам выделения класса составных коннекторов русского языка в базе Рускон. Академические словари и грамматики серьезно расходятся в мнениях по поводу трактовки конкретных сочетаний – как в плане их лексико-грамматического статуса, так и, шире, в плане включения их в базовый инвентарь. В изданиях используются термины «в значении союза», «аналог союза», «союзное соединение» и т.п. Это связано с трудностью разграничения единых союзов (потому что) и окказиональных сочетаний (а из-за этого) – условно говоря, единиц, которые содержатся в памяти как единое целое или порождаются в ходе речепроизводства. Мы рассматриваем критерии определения составных коннекторов, которые работают на различных уровнях языка – фонетические, морфологические, синтаксические и семантические критерии. В некоторых случаях эти лингвистически обоснованные критерии не дают однозначного ответа. Был проведен ряд экспериментов, в ходе которых коннекторы ранжировались с помощью различных метрик устойчивости словосочетаний. Наилучшие результаты показали метрики, производные от меры точечной взаимной информации (Pointwise Mutual Information, сокращенно PMI). Мы предлагаем использовать при решении аналогичных задач модификацию MMI (Modified Mutual Information), адаптированную для оценки словосочетаний произвольной длины.