RUS  ENG
Полная версия
ЖУРНАЛЫ // Журнал вычислительной математики и математической физики // Архив

Ж. вычисл. матем. и матем. физ., 2009, том 49, номер 11, страницы 2066–2080 (Mi zvmmf4790)

Эта публикация цитируется в 2 статьях

Эффективный метод отбора признаков в линейной регрессии с помощью обобщения информационного критерия Акаике

Д. П. Ветровa, Д. А. Кропотовb, Н. О. Пташкоa

a 119992 Москва, Ленинские горы, МГУ ВМиК
b 119333 Москва, ул. Вавилова, 40, ВЦ РАН

Аннотация: Предлагается метод отбора признаков для линейной регрессии с помощью обобщения информационного критерия Акаике. Использование классического информационного критерия Акаике (ИКА) для отбора признаков связано с полным перебором по всем подмножествам признаков, что приводит к неоправданно большим вычислительным и временным затратам. Предлагается новый информационный критерий, который является непрерывным обобщением ИКА. В результате задача отбора признаков сводится к задаче гладкой оптимизации. Выводится эффективная процедура решения полученной задачи оптимизации. Экспериментальные исследования показывают, что разработанный метод действительно позволяет быстро и эффективно отбирать признаки в линейной регрессии. В экспериментах новая процедура также сравнивается с методом релевантных векторов, который является методом отбора признаков на основе байесовского подхода. Показано, что обе процедуры близки по результатам. Основное отличие нового метода состоит в том, что некоторые коэффициенты регуляризации становятся тождественно равными нулю. Это позволяет избежать эффекта переупрощения модели, который характерен для метода релевантных векторов. Также рассматривается специальный случай (так называемая недиагональная регуляризация), в котором оба метода оказываются идентичными. Библ. 18. Фиг. 4. Табл. 2.

Ключевые слова: распознавание образов, линейная регрессия, отбор признаков, информационный критерий Акаике.

УДК: 519.71

Поступила в редакцию: 12.05.2009


 Англоязычная версия: Computational Mathematics and Mathematical Physics, 2009, 49:11, 1972–1985

Реферативные базы данных:


© МИАН, 2024