О выборе базисных функций регрессии и машинном обучении

Как известно, в задачах машинного обучения широко используются средства регрессионного анализа, которые позволяют устанавливать связь между наблюдаемыми переменными и компактно хранить информацию. Наиболее распространенным является случай, когда функция регрессии описывается линейной комбинацией некоторых заданных функций $f_j(X), j = 1, \ldots , m, X \in D \subset R^s$. Если наблюдаемые данные содержат случайную ошибку, то восстановленная по наблюдениям функция регрессии содержит случайную ошибку и систематическую ошибку, зависящую от выбора функций $f_j$ . В данной работе указана возможность оптимального, в смысле заданной функциональной метрики, выбора $f_j$ , если известно, что истинная зависимость подчиняется некоторому функциональному уравнению. В ряде случаев (правильная сетка, $s \leqslant 2$) близкие результаты могут быть получены с помощью техники анализа случайных процессов. Численные примеры, приведенные в данной работе, иллюстрируют существенно более широкие возможности предполагаемого подхода к задачам регрессии.