О соотношении взаимной информации и вероятности ошибки в задаче классификации данных

Исследуется модель классификации данных на основе зависимости средней взаимной информации между предъявляемыми объектами и принимаемыми решениями от вероятности ошибки. Оптимизация модели заключается в нахождении обменного соотношения “взаимная информация–вероятность ошибки” между наименьшей средней взаимной информацией и вероятностью ошибки, которое аналогично известной функции “скорость–погрешность” (rate distortion function) для модели кодирования сообщений с допустимой погрешностью, переданных по каналу с искажениями. Строится нижняя граница введенного соотношения, которая дает нижнюю оценку вероятности ошибки классификации на заданном множестве объектов при любом фиксированном значении средней взаимной информации. Приводится обобщение соотношения “взаимная информация–вероятность ошибки” и его нижней границы для ансамбля источников. Полученные границы полезны для оценивания избыточности вероятности ошибки решающих алгоритмов c заданными наборами разделяющих функций.
Библ. 11. Фиг. 4.