Наглядная численная оптимизация. Занятие 1

С помощью элементарных средств (достаточно будет знать, что такое производная и иметь начальные представления о вероятности) будет рассказано об основных сюжетах большой и важной в современных приложениях науки «Численные методы оптимизации».
Курс начнется с объяснения того, что такое градиентный спуск и почему он сходится и почему он так важен, заканчивая обсуждением вопросов о скорости сходимости различных итерационных численных методов, о нижних оценках скорости сходимости и о стохастических градиентных методах. Весь материал будет иллюстрироваться простыми примерами.
В конце курса планируется (обзорно) рассказать несколько недавних результатов в этой области. В частности, планируется упомянуть о следующих двух задачах: в каком смысле 1000 летний мудрец (итерационный процесс, сделавший 1000 итераций) будет эквивалентен 10 экспертам, прожившим по 100 лет каждый (эта задач тесно связана с распараллеливанием итерационных методов) и почему когда живешь один и получаешь от внешнего мира зашумленную обратную связь, то намного дольше обучаешься, чем когда живешь с кем-то вдвоем, и вы вместе получаете зашумленную обратную связь от внешнего мира, согласуя свои стратегии обучения (при этом принципиальная разница между тем жить одному или вдвоем, разница между жизнью вдвоем и втроем и т.д. — не существенная).