On the maximum entropy of a sum of independent discrete random variables

Пусть $X_1,\dots, X_n $ — независимые случайные величины, принимающие значения в алфавите $\{0,1,\dots,r\} $, и $S_n=\sum_{i=1}^nX_i$. Теорема Шеппа–Олкина утверждает, что в бинарном случае ($r=1$) энтропия Шеннона случайной величины $S_n$ максимальна, когда все $X_i$ равномерно распределены, т.е. являются бернуллиевскими с параметром $1/2$. Стремясь обобщить эту теорему на случай конечных алфавитов, мы получаем нижнюю границу для максимума энтропии случайной величины $S_n$ и доказываем, что она точна в некоторых частных случаях. В дополнение к этим частным случаям приводится еще один довод в поддержку гипотезы о том, что полученная граница представляет собой оптимальное значение для всех $n$, $r$, т.е. что $H(S_n)$ максимальна, когда $X_1,\dots,X_{n-1}$ равномерно распределены на $\{0,r\}$, в то время как функция распределения масс случайной величины $X_n$ является смесью (с явным образом определенными ненулевыми весами) равномерных распределений на $\{0,r\}$ и $\{1,\dots,r-1\}$.