Методы оптимизации для глубинных нейросетей

Задача оптимизации, возникающая при обучении глубинных нейросетей, является на сегодняшний день одной из наиболее сложных и вместе с тем сверх актуальных задач в области оптимизации для машинного обучения. Несмотря на существенный прогресс методов стохастической оптимизации за последнее время, многие практики по-прежнему отдают предпочтение здесь стохастическому градиентному спуску (SGD). В докладе планируется обсудить некоторые недавние разработки в этой области, которые могут стать альтернативой простому SGD. Среди них такие подходы как метод натурального градиента с кронекеровским приближением матрицы Фишера (K-FAC) и Normalization Propagation.
Литература:
http://arxiv.org/abs/1503.05671
http://arxiv.org/abs/1602.01407
http://arxiv.org/pdf/1603.01431v6.pdf