Аннотация:
В докладе мы поговорим про стандартные результаты о сходимости (по мат. ожиданию) Стохастического Градиентного Спуска (SGD) и его вариантов при различных предположениях (и различных постановках, в частности, для задач минимизации суммы функций), подходы к ускорению таких процедур, параллелизации вычислений. Кроме того, мы затронем современные результаты о сходимости стохастических методов первого порядка с большой вероятностью. Помимо самих результатов, мы обсудим и основные идеи и техники, используемые при доказательстве этих результатов. Доклад представляет из себя краткий обзор главы из готовящейся книги по выпуклой стохастической оптимизации.
