Энтропия как характеристика качества случайных последовательностей

Обсуждаются вопросы, связанные со смыслами, в которых термин «энтропия» используется в различных областях (статистической физике, теории информации, теории динамических систем), и применениями этого понятия как характеристики независимости и равновероятности символов конечного алфавита. Главная цель — показать на этом примере, что корректная интерпретация результатов применения статистических критериев должна содержать фактически используемые априорные предположения о вероятностных моделях анализируемых последовательностей. Приведен пример последовательностей с энтропией, близкой к максимально возможной, но неудовлетворительных с точки зрения криптографических применений.