RUS  ENG
Полная версия
ЖУРНАЛЫ // Проблемы передачи информации // Архив

Пробл. передачи информ., 2020, том 56, выпуск 2, страницы 3–63 (Mi ppi2315)

Эта публикация цитируется в 13 статьях

Теория информации

Сравнение коэффициентов сжатия для $f$-дивергенций

А. Макур, Л. Чжэн

Отделение информационных технологий, Массачусетский технологический институт, Кэмбридж, США

Аннотация: Коэффициенты сжатия – это зависящие от распределений константы, использующиеся для улучшения стандартных неравенств об обработке данных для $f$-дивергенций (или относительных $f$-энтропий) и приводящие к так называемым “сильным” неравенствам об обработке данных. Для любого двумерного совместного распределения, т.е. пары, состоящей из вектора вероятностей и стохастической матрицы, известно, что коэффициенты сжатия для $f$-дивергенций ограничены сверху единицей, а снизу – коэффициентом сжатия для $\chi^2$-дивергенции. Мы показываем, что верхняя граница достигается, когда совместное распределение разложимо, а нижней можно достичь, устремляя $f$-дивергенции на входе для коэффициентов сжатия к нулю. Затем устанавливается линейная верхняя граница на коэффициенты сжатия совместных распределений для некоторого класса $f$-дивергенций через коэффициенты сжатия для $\chi^2$-дивергенции, причем эта граница уточняется для выделенного специального случая дивергенции Кульбака – Лейблера (КЛ-дивергенции). Далее дается альтернативное доказательство того факта, что коэффициенты сжатия для КЛ- и $\chi^2$-дивергенций совпадают для двумерных гауссовских распределений (где для первого коэффициента может налагаться ограничение на второй момент). Наконец, обобщается известный результат о том, что коэффициенты сжатия для стохастических матриц (после вычисления экстремума по всевозможным векторам вероятностей) для всех нелинейных операторно выпуклых $f$-дивергенций равны. В частности, доказывается, что так называемый предпорядок “меньшего искажения” на стохастических матрицах эквивалентным образом характеризуется любой нелинейной операторно выпуклой $f$-дивергенцией. Как приложение этой характеризации, выводится также обобщение сильного неравенства Самородницкого об обработке данных.

Ключевые слова: коэффициент сжатия, $f$-дивергенция/относительная $f$-энтропия, сильное неравенство об обработке данных, предпорядок меньшего искажения, максимальная корреляция.

УДК: 621.391.1 : 519.72

Поступила в редакцию: 17.10.2019
После переработки: 17.10.2019
Принята к печати: 09.03.2020

DOI: 10.31857/S0555292320020011


 Англоязычная версия: Problems of Information Transmission, 2020, 56:2, 103–156

Реферативные базы данных:


© МИАН, 2024