Аннотация:
В работе рассматривается задача распределенной оптимизации в постановке черного ящика. Это означает, что целевая функция $f$ раскладывается на сумму $n$ функций, где $n$ – количество работников, при этом предполагается, что каждый работник имеет доступ только к зашумленному оракулу нулевого порядка, т.е. только к значениям $f (x)$ с добавленным шумом. В статье предлагается новый метод ZO-MARINA, основанный на state-of-the-art алгоритме распределенной оптимизации MARINA. В частности, для решения задачи в постановке черного ящика вносятся следующие изменения: i) вместо честного градиента используется его аппроксимация, ii) вместо оператора сжатия используется разность двух аппроксимированных градиентов по некоторым координатам. В работе проводится теоретический анализ сходимости для невыпуклых функций и функций, удовлетворяющих условию Поляка–Лоясиевича. Скорость работы предложенного алгоритма соотносится с результатами для алгоритма, который использует оракул первого порядка. Теоретические результаты подтверждаются в вычислительных экспериментах по поиску оптимальных гиперпараметров для нейронной сети Resnet-18 при обучении на наборе данных CIFAR-10 и модели SVM на наборе данных из библиотеки LibSVM и на наборе данных Mnist-784.
