RUS  ENG
Полная версия
ЖУРНАЛЫ // Компьютерная оптика // Архив

Компьютерная оптика, 2023, том 47, выпуск 1, страницы 160–169 (Mi co1113)

Эта публикация цитируется в 3 статьях

ЧИСЛЕННЫЕ МЕТОДЫ И АНАЛИЗ ДАННЫХ

Новый подход к обучению нейронных сетей с помощью натурального градиентного спуска с импульсом на основе распределений Дирихле

Р. И. Абдулкадировa, П. А. Ляховb

a Северо-Кавказский центр математических исследований, Северо-Кавказский федеральный университет, г. Ставрополь
b Северо-Кавказский федеральный университет

Аннотация: В данной работе мы предлагаем алгоритм натурального градиентного спуска с импульсом на основе распределений Дирихле для ускорения обучения нейронных сетей. Данный подход учитывает не только направления градиентов, но и выпуклость минимизируемой функции, что значительно ускоряет процесс поиска экстремумов. Представлены вычисления натуральных градиентов, базирующихся на распределениях Дирихле, и реализовано внедрение предложенного подхода в схему обратного распространения ошибок. Результаты по распознаванию изображений и прогнозированию временных рядов во время проведения экспериментов показывают, что предложенный подход дает более высокую точность и не требует большого количества итераций для минимизации функций потерь, по сравнению с методами стохастического градиентного спуска, адаптивной оценки момента и адаптивным по параметрам диагональным квазиньютоновским методом для невыпуклой стохастической оптимизации.

Ключевые слова: распознавание образов, машинное обучение, оптимизация, распределения Дирихле, натуральный градиентный спуск

Поступила в редакцию: 07.04.2022
Принята в печать: 24.08.2022

DOI: 10.18287/2412-6179-CO-1147



© МИАН, 2024