Разложение в тензорный поезд в задачах машинного обучения

Разложение в тензорный поезд (Tensor Train, ТТ) — это обобщение SVD-разложения на тензоры (многомерные массивы). Этот подход позволяет компактно представить тензор в виде произведения факторов и совершать над ним операции посредством работы с факторами, не материализуя исходный тензор в процессе. Например, можно найти ТТ-представление поэлементного произведения двух тензоров размера $2^{100}$, заданных в виде ТТ-представления.
В докладе я расскажу как ТТ-разложение может быть использовано для представления параметров моделей машинного обучения на примере полиномиальных моделей и нейронных сетей. Такая параметризация позволяет обучать модели у которых экспоненциально много "виртуальных" параметров, работая при этом на практике с относительно небольшими факторами ТТ-формата.