Об универсальных оценщиках в теории обучения

Работа посвящена проблеме построения и анализа оценщиков в задаче регрессии в обучении с наставником (supervised learning). Недавно возник большой интерес к изучению универсальных оценщиков. Термин “универсальный” означает, что оценщик не зависит от априорного предположения о том, что функция регрессии $f_\rho$ принадлежит некоторому классу $F$ из коллекции классов $\mathcal F$, и, тем не менее, обеспечивает ошибку оценки для $f_\rho$, близкую к оптимальной ошибке для класса $F$. Эта работа является иллюстрацией того, как общие методы построения универсальных оценщиков, разработанные в предыдущей работе автора, применяются в конкретных ситуациях. Постановка проблемы, изученной в работе, была мотивирована недавней работой Смейла (Smale) и Джау (Zhou). Для нас отправной точкой служит ядро $K(x,u)$, определенное на $X\times\Omega$. На основе этого ядра мы строим оценщик, который является универсальным для классов, определенных в терминах нелинейных приближений по системе $\{K(\cdot ,u)\}_{u\in\Omega}$. Мы применяем релаксационный гриди-алгоритм (Relaxed Greedy Algorithm) в построении легко реализуемого оценщика.