Сети и соседи: Параметрические и непараметрические методы для выживания машинного обучения в “дикой природе”

Параметрические методы машинного обучения, такие как нейронные сети, растущие деревья (boosted trees), методы факторизации и их совокупности, задают последнее слово в бенчмарках машинного обучения от академических стандартов (таких как ImageNet), до соревнований Kaggle. Однако, применение систем машинного обучения в реальном мире существенно отличается по ряду параметров. На лекции речь пойдёт об уникальных пунктах, которые отличают академическое и технологическое машинное обучение, и приводят к очень разным оптимальным решениям, в сравнении с теми, которые обычно встречаютися в конкурсах и академических бенчмарках. В частности, обсуждение каснётся необходимости объединения параметрических и непараметрических моделей (таких как современные варианты алгоритмов ближайшего соседа). Также будут описаны некоторые интересные комбинации, которые приводят к современным технологическим решениям в системах машинного перевода и диалоговых системах.