Метод отбора признаков на основе вероятностного подхода и перекрестной энтропии на примере задачи распознавания изображений

Рассматривается задача отбора признаков для формирования обучающей выборки в задаче классификации. Предлагается метод отбора информативных признаков на основе вероятностного подхода и метрики перекрестной энтропии. Исследуется несколько вариантов информационного критерия отбора признаков для задачи бинарной классификации и его обобщение на случай многоклассовой задачи. Приводятся демонстрационные примеры работы предложенного метода для задачи классификации изображений из коллекции mnist.