Аннотация:
Статья посвящена методам понижения сложности аппроксимирующих моделей. Предлагается вероятностное обоснование методов дистилляции и привилегированного обучения. Приведены общие выводы для произвольной параметрической функции с наперед заданной структурой. Показано теоретическое обоснование для частных случаев: линейной и логистической регрессии. Проводится анализ рассмотренных моделей в вычислительном эксперименте на синтетических выборках и реальных данных. В качестве реальных данных рассматриваются выборки FashionMNIST и Twitter Sentiment Analysis.
Ключевые слова:
выбор модели, байесовский вывод, дистилляция модели, привилегированное обучение.
Статья представлена к публикации членом редколлегии:О. П. Кузнецов
Поступила в редакцию: 29.08.2020 После доработки: 14.08.2021 Принята к публикации: 29.08.2021