RUS  ENG
Полная версия
ЖУРНАЛЫ // Информатика и автоматизация // Архив

Информатика и автоматизация, 2021, выпуск 20, том 2, страницы 463–490 (Mi trspy1150)

Искусственный интеллект, инженерия данных и знаний

Гибридный метод обучения сверточных нейронных сетей

А. Н. Голубинскийa, А. А. Толстыхb

a АО «Концерн «Созвездие»
b Московский университет МВД России им. В.Я. Кикотя

Аннотация: Предложен гибридный метод обучения сверточных нейронных сетей. Метод заключается в объединении методов второго и первого порядка для разных элементов архитектуры сверточной нейронной сети. Гибридный метод обучения сверточных нейронных сетей позволяет добиваться значительно лучшей сходимости по сравнению с методом обучения сверточных нейронных сетей «Adam» и требует меньше вычислительных операций для реализации. Рассматриваемый метод применим для обучения сетей, на которых происходит паралич обучения при использовании методов первого порядка. Более того, предложенный метод обладает способностью подстраивать свою вычислительную сложность под аппаратные средства, на которых производится вычисление, вместе с тем гибридный метод позволяет использовать подход обучения мини-пакетов.
Приведен анализ соотношения вычислений между сверточными нейронными сетями и полносвязными искусственными нейронными сетями. Рассмотрен математический аппарат оптимизации ошибки искусственных нейронных сетей, включающий в себя метод обратного распространения ошибки, алгоритм Левенберга-Марквардта. Проанализированы основные ограничения данных методов, возникающие при обучении сверточной нейронной сети.
Проведен анализ устойчивости предлагаемого метода при изменении инициализирующих параметров. Приведены результаты применимости метода в различных задачах.

Ключевые слова: сверточные нейронные сети, методы обучения искусственных нейронных сетей, методы оптимизации.

УДК: 004.032.26

Поступила в редакцию: 08.12.2020

DOI: 10.15622/ia.2021.20.2.8



© МИАН, 2024