Аннотация:
Мы рассмотрим задачу решения сильно выпуклых и гладких задач минимизации с использованием алгоритма стохастического градиентного спуска (SGD) с постоянным шагом. В предыдущих работах предлагалось комбинировать SGD с процедурой усреднения Поляка-Рупперта и экстраполяцией Ричардсона-Ромберга для снижения асимптотического смещения SGD. В работе проанализирована среднеквадратичная ошибка получаемого алгоритма, а также получены оценки $p$-го момента соответствующей ошибки. Наш анализ основан на изучении свойств итераций стохастического градиентного спуска, рассматриваемых как однородная цепь Маркова.
Доклад основан на совместной работе https://arxiv.org/abs/2410.05106
|
