А. В. Трусов, Е. Е. Лимонова, В. В. Арлазаров, А. А. Зацаринный, “Анализ уязвимостей нейросетевых технологий распознавания образов”, ИТиВС, 2023, выпуск 4,страницы 49

ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ

Анализ уязвимостей нейросетевых технологий распознавания образов

А. В. Трусов^ab, Е. Е. Лимонова^ab, В. В. Арлазаров^ab, А. А. Зацаринный^a

^a Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия
^b ООО "Смарт Энджинс Сервис", Москва, Россия

Аннотация: В статье рассмотрена актуальная проблема уязвимости технологий искусственного интеллекта на основе нейронных сетей в задаче распознавания образов. Показано, что применение нейронных сетей порождает множество уязвимостей. Приведены конкретные примеры таких уязвимостей: некорректная классификация изображений, содержащих вредоносный шум или заплатки, отказ распознающих систем при наличии на изображении особых узоров, в том числе нанесенных на объекты реального мира, отравление обучающей выборки и др. На основе проведенного анализа показана необходимость улучшения безопасности технологий искусственного интеллекта и даны предложения, способствующие этому улучшению.

Ключевые слова: нейронные сети, атаки на нейронные сети, вредоносные изображения, нейросетевая безопасность.

DOI: 10.14357/20718632230405