Аннотация:
Представлен обзор современного состояния субградиентных и ускоренных методов выпуклой оптимизации, в том числе при наличии помех и доступа к различной информации о целевой функции (значение функции, градиент, стохастический градиент, старшие производные). Для невыпуклых задач рассматривается условие Поляка–Лоясиевича и приводится обзор основных результатов. Рассматривается поведение численных методов при наличии острого минимума. Цель данного обзора – показать влияние работ
Б.Т. Поляка (1935–2023) по градиентным методам оптимизации и их окрестностям на современное развитие численных методов оптимизации.
Библ. 200. Табл. 1.
Ключевые слова:градиентный спуск, условие градиентного доминирования (Поляка–Лоясиевича), острый минимум, субградиентный метод Поляка–Шора, условие ранней остановки, метод тяжелого шарика поляка, стохастический градиентный спуск
УДК:519.85
Поступила в редакцию: 15.09.2023 Исправленный вариант: 16.12.2023 Принята в печать: 17.11.2023