Одномерные топологические инварианты для оценки невыпуклости функции потерь

В данной работе рассматривается применение топологического анализа данных к исследованию геометрических свойств ландшафта функции потерь. Используя топологию и теорию Морса, мы строим одномерные топологические инварианты для оценки близости функции потерь к выпуклой функции с точностью до произвольной перепараметризации. Предложенный подход использует оптимизацию двумерных симплексов в пространстве параметров нейросети и позволяет проводить как качественную, так и количественную оценку ландшафта функции потерь для получения новых представлений о поведении и оптимизации нейронных сетей. Мы предоставляем геометрическую интерпретацию топологических инвариантов и описываем алгоритм их вычисления. Мы ожидаем, что предложенный подход может дополнить существующие инструменты для анализа ландшафта функции потерь и пролить свет на нерешенные вопросы в области глубокого обучения.