Энтропия и сжатие: простое доказательство неравенства Хинчина–Орнштейна–Шилдса

Статья посвящена фольклорному утверждению “энтропия является нижней гранью возможного сжатия данных”. Точнее, используя энтропийную теорему, получено простое доказательство поточечного неравенства, впервые сформулированного Орнштейном и Шилдсом, которое является почти наверное версией неравенства в среднем, впервые доказанного Хинчиным в 1953 году. Далее дается элементарное доказательство первоначального неравенства Хинчина, которое можно использовать в качестве упражнения для студентов, изучающих теорию информации. В заключение приведены исторические и технические замечания об этом неравенстве.