Есть ли альтернатива у нейронных сетей?

Исходя из стандартной постановки задачи машинного обучения, мы обсудим роль различных методов приближения и оптимизации. В краткой форме обсудим развитие идей теории аппроксимации от классических методов, основанных на линейном приближении, до современных методов, основанных на нелинейных методах. Особое внимание будет уделено обсуждению алгоритмов приближения. В частности, обсудим эволюцию жадных алгоритмов. Немного коснёмся методов выпуклой оптимизации на банаховых пространствах.