Логика обмана в машинном обучении

Вопросы потенциального изменения работы искусственных нейронных сетей (ИНС) при различных воздействиях на обучающие данные становятся актуальной задачей. Нарушение правильной работы ИНС при враждебных воздействиях на обучающую выборку получило название «отравление» (poisoning). В работе использована простейшая модель формирования нейронной сети, в которой признаки, использованные в обучении, основаны только на преобладании числа однородных элементов. Изменения в образцах обучающей выборки позволяют строить бэкдоры, которые, в свою очередь, позволяют реализовывать неправильную классификацию, а также встраивать в программную систему ошибки, вплоть до вредоносного кода. В работе построена корректная модель отравления обучающей выборки, позволяющая реализовать бэкдор и триггеры для ошибок классификации. Простейший характер построенной модели функционирования и формирования обмана позволяет считать, что причинно-следственная логика работы возможной реальной атаки на сложную систему искусственного интеллекта (ИИ) восстановлена правильно. Этот вывод позволяет в дальнейшем правильно строить подсистемы мониторинга, анализа аномалий и управления функционалом всей системы ИИ.