RUS  ENG
Полная версия
ЖУРНАЛЫ // Информатика и её применения // Архив

Информ. и её примен., 2019, том 13, выпуск 2, страницы 62–70 (Mi ia594)

Эта публикация цитируется в 1 статье

Определение релевантности параметров нейросети

А. В. Грабовойa, О. Ю. Бахтеевa, В. В. Стрижовba

a Московский физико-технический институт
b Вычислительный центр им. А. А. Дородницына Федерального исследовательского центра «Информатика и управление» Российской академии наук

Аннотация: Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейросети можно существенно снизить без значимой потери качества и значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров предлагается проанализировать ковариационную матрицу апостериорного распределения параметров и удалить из нейросети мультикоррелирующие параметры. Для определения мультикорреляции используется метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.

Ключевые слова: нейронные сети, оптимизация гиперпараметров, метод Белсли, релевантность параметров, прореживание нейронной сети.

Поступила в редакцию: 31.10.2018

DOI: 10.14357/19922264190209



Реферативные базы данных:


© МИАН, 2024