Приближенное оценивание с помощью ускоренного метода наибольшей энтропии. Часть 1. Постановка задачи и реализация для задачи регрессии

Работа посвящена разработке метода энтропийного оценивания с мягкой рандомизацией для восстановления параметров вероятностных математических моделей по имеющимся наблюдениям. Под мягкой рандомизацией понимается техника добавления регуляризации в функционал информационной энтропии с целью упрощения оптимизационной задачи и ускорения обучения по сравнению с традиционным методом наибольшей энтропии. В данной работе была разработана концепция метода энтропийного оценивания с мягкой рандомизацией, включая получение энтропийно-оптимальных функций ПРВ в общем виде. В ходе экспериментов были протестированы несколько типов регуляризации модели на примере классической задачи регрессионного анализа.