Аннотация:
Статья посвящена изучению поверхностей потерь нейронных сетей с помощью методов топологического анализа данных. Мы применяем бар-коды комплексов Морса для исследования топологии поверхностей потерь. Описан алгоритм для расчета бар-кодов локальных минимумов функции потерь. Мы провели эксперименты по расчету бар-кодов локальных минимумов для бенчмарк функций и для поверхностей потерь небольших нейронных сетей. Наши эксперименты подтверждают два наших основных наблюдения для поверхностей потерь нейронных сетей. Во-первых, бар-коды локальных минимумов расположены в небольшой нижней части диапазона значений функции потерь нейронных сетей. Во-вторых, увеличение глубины и ширины нейронной сети уменьшает бар-коды локальных минимумов. Это дает естественные следствия для обучения нейронной сети и для ее обобщающих свойств.
Ключевые слова:
поверхность потерь, персистентные гомологии, персистентные бар-коды, теория Морса, нейронные сети.
УДК:
004.8
Статья представлена к публикации:А. Л. Семёнов Поступило: 02.09.2023 После доработки: 08.09.2023 Принято к публикации: 18.10.2023