RUS  ENG
Полная версия
ВИДЕОТЕКА



Наглядная численная оптимизация. Занятие 4

А. В. Гасников



Аннотация: С помощью элементарных средств (достаточно будет знать, что такое производная и иметь начальные представления о вероятности) будет рассказано об основных сюжетах большой и важной в современных приложениях науки «Численные методы оптимизации».
Курс начнется с объяснения того, что такое градиентный спуск и почему он сходится и почему он так важен, заканчивая обсуждением вопросов о скорости сходимости различных итерационных численных методов, о нижних оценках скорости сходимости и о стохастических градиентных методах. Весь материал будет иллюстрироваться простыми примерами.
В конце курса планируется (обзорно) рассказать несколько недавних результатов в этой области. В частности, планируется упомянуть о следующих двух задачах: в каком смысле 1000 летний мудрец (итерационный процесс, сделавший 1000 итераций) будет эквивалентен 10 экспертам, прожившим по 100 лет каждый (эта задач тесно связана с распараллеливанием итерационных методов) и почему когда живешь один и получаешь от внешнего мира зашумленную обратную связь, то намного дольше обучаешься, чем когда живешь с кем-то вдвоем, и вы вместе получаете зашумленную обратную связь от внешнего мира, согласуя свои стратегии обучения (при этом принципиальная разница между тем жить одному или вдвоем, разница между жизнью вдвоем и втроем и т.д. — не существенная).

Website: https://www.mccme.ru/dubna/2017/courses/gasnikov.html

Список литературы
  1. Alexander Gasnikov, Universal gradient descent, 2017  hrarxiv

Цикл лекций


© МИАН, 2024