Нормированные информационные дивергенции

Изучаются различные варианты определения информационной дивергенции для пары случайных величин. Предлагаемые дивергенции обобщают известные понятия “энтропийного расстояния” и “информационного расстояния”. Дивергенции определяются как соотношения некоторой меры сложности пары случайных величин и взаимной информации этих случайных величин. Изучаются дивергенции главным образом для дискретных случайных величин с конечной энтропией. Также вводится понятие нормированной информационной дивергенции. Строятся различные примеры информационных дивергенций, изучаются их математические свойства и обсуждаются возможные применения.