Аннотация:
В работе рассматривается общая задача
выпуклой стохастической оптимизации
в пространстве небольшой размерности (например, 100 переменных).
Известно, что для детерминированных задач выпуклой оптимизации
небольших размеров наилучшим образом сходятся методы
типа центров тяжести (например, метод Вайды).
Для задач стохастической оптимизации
вопрос о возможности использования метода Вайды сводится
к вопросу о том, как он накапливает неточность в субградиенте.
Недавний результат авторов об отсутствии накопления неточности
на итерациях метода Вайды позволяет предложить его аналог
для задач стохастической оптимизации. Основным приемом является
замена субградиента в методе Вайды его пробатченным аналогом
(средним арифметическим стохастических субградиентов).
В настоящей работе осуществляется описанный план,
что приводит к эффективному
(в условиях возможности производить вычисления параллельно
при батчинге) методу решения задач
выпуклой стохастической оптимизации
в пространствах небольших размерностей. Производительность алгоритма
проиллюстрирована численным экспериментом.
Библиография: 16 названий.
Ключевые слова:стохастическая оптимизация, выпуклая оптимизация,
метод секущей плоскости, минибатчинг.