RUS  ENG
Полная версия
ЖУРНАЛЫ // Труды института системного программирования РАН // Архив

Труды ИСП РАН, 2024, том 36, выпуск 5, страницы 109–126 (Mi tisp926)

Дилемма защитника: совместимы ли методы защиты от разных атак на модели машинного обучения?

Г. В. Сазоновab, К. С. Лукьяновbcd, И. Н. Мелешинa

a Московский государственный университет имени М. В. Ломоносова
b Институт системного программирования им. В.П. Иванникова РАН
c Московский физико-технический институт (НИУ)
d Исследовательский центр доверенного искусственного интеллекта ИСП РАН

Аннотация: В условиях растущего применения моделей искусственного интеллекта (ИИ) всё больше внимания уделяется вопросам доверия и безопасности систем использующих ИИ от разных типов угроз (атаки уклонения, отравления, вывод о членстве и т.д.). В этой работе мы сосредотачиваемся на задаче классификации вершин графов, выделяя ее как одну из самых сложных. Эта работа является первой, насколько нам известно, в которой исследуется взаимосвязь методов защиты моделей ИИ от разных типов угроз на графовых данных. Наши эксперименты проводятся на наборах данных: цитирования и графов покупок. Мы показываем, что в общем случае нельзя просто использовать комбинации методов защит от разных типов угроз и, что это может иметь серьезные негативные последствия вплоть до полной потери эффективности модели. А также, мы приводим теоретическое доказательство противоречия класса методов защит от атак отравления на графах и состязательного обучения.

Ключевые слова: атаки на модели искусственного интеллекта; защищенность; классификация вершин графов; доверенный искусственный интеллект.

DOI: 10.15514/ISPRAS-2024-36(5)-8



© МИАН, 2025