О влиянии центральной тенденции на характер плотности распределения максимальной энтропии в машинном обучении

Принцип максимальной энтропии (МЭ) обладает рядом преимуществ, позволяющих применять его в машинном обучении. Плотность распределения максимальной энтропии (ПРМЭ) требует решения задачи вариационного исчисления на априорном распределении, где в качестве параметра может быть использована центральная тенденция, которая в пространстве Лебега описывается обобщенным средним по Гельдеру. В работе показана эволюция плотности распределения МЭ в зависимости от заданной нормы среднего. Минимум расхождения Кульбака — Лейблера между ПРМЭ и априорной плотностью достигается на гармоническом среднем, что эффективно для сокращения размерности обучающей выборки. В то же время это приводит к ухудшению функции потерь в условиях машинного обучения по прецедентам.