Эта публикация цитируется в
13 статьях
Теория информации
Сравнение коэффициентов сжатия для $f$-дивергенций
А. Макур,
Л. Чжэн Отделение информационных технологий, Массачусетский технологический институт, Кэмбридж, США
Аннотация:
Коэффициенты сжатия – это зависящие от распределений константы, использующиеся для улучшения стандартных неравенств об обработке данных для
$f$-дивергенций (или относительных
$f$-энтропий) и приводящие к так называемым “сильным” неравенствам об обработке данных. Для любого двумерного совместного распределения, т.е. пары, состоящей из вектора вероятностей и стохастической матрицы, известно, что коэффициенты сжатия для
$f$-дивергенций ограничены сверху единицей, а снизу – коэффициентом сжатия для
$\chi^2$-дивергенции. Мы показываем, что верхняя граница достигается, когда совместное распределение разложимо, а нижней можно достичь, устремляя
$f$-дивергенции на входе для коэффициентов сжатия к нулю. Затем устанавливается линейная верхняя граница на коэффициенты сжатия совместных распределений для некоторого класса
$f$-дивергенций через коэффициенты сжатия для
$\chi^2$-дивергенции, причем эта граница уточняется для выделенного специального случая дивергенции Кульбака – Лейблера (КЛ-дивергенции). Далее дается альтернативное доказательство того факта, что коэффициенты сжатия для КЛ- и
$\chi^2$-дивергенций совпадают для двумерных гауссовских распределений (где для первого коэффициента может налагаться ограничение на второй момент). Наконец, обобщается известный результат о том, что коэффициенты сжатия для стохастических матриц (после вычисления экстремума по всевозможным векторам вероятностей) для всех нелинейных операторно выпуклых
$f$-дивергенций равны. В частности, доказывается, что так называемый предпорядок “меньшего искажения” на стохастических матрицах эквивалентным образом характеризуется любой нелинейной операторно выпуклой
$f$-дивергенцией. Как приложение этой характеризации, выводится также обобщение сильного неравенства Самородницкого об обработке данных.
Ключевые слова:
коэффициент сжатия, $f$-дивергенция/относительная $f$-энтропия, сильное неравенство об обработке данных, предпорядок меньшего искажения, максимальная корреляция.
УДК:
621.391.1 :
519.72 Поступила в редакцию: 17.10.2019
После переработки: 17.10.2019
Принята к печати: 09.03.2020
DOI:
10.31857/S0555292320020011