Аннотация:
Исследуется релаксационный субградиентный метод с двухранговой коррекцией матриц метрики. Доказано, что на сильновыпуклых функциях, в случае существования линейного преобразования координат, уменьшающего степень обусловленности задачи, метод имеет линейную скорость сходимости, соответствующую этой степени обусловленности. Экспериментально установлено, что скорости сходимости квазиньютоновского и изучаемого методов на гладких функциях практически эквивалентны. Вычислительные возможности метода используются для построения эффективных алгоритмов обучения нейронных сетей.
Ключевые слова:метод, субградиент, минимимизация, скорость сходимости, нейронные сети, регуляризация.