Влияние шума на рекуррентные нейронные сети с нелинейными нейронами

Цель настоящего исследования - установить особенности распространения и накопления шумов в рекуррентной нейронной сети на примере упрощенной эхо-сети. В данной работе исследовалось влияние типа функции активации искусственных нейронов и матриц связи между ними. Методы. В качестве источников шумов рассматриваются источники белого Гауссова шума. В зависимости от способа воздействия шума на искусственные нейроны использовались аддитивный, мультипликативный и смешанный шум. Оценка шумового воздействия проводилась с использованием дисперсии (вариации) выходного сигнала. Результаты. Показано, что функция активации играет существенную роль в накоплении шумов. Рассмотрены две нелинейные функции активации: гиперболический тангенс и сигмоида со значениями от 0 до 1. Показано, что для второй функции происходит подавление некоторых типов шумов. В результате рассмотрения влияния матриц связи было выявлено, что диагональные матрицы связи с большим коэффициентом рассеяния приводят к меньшему накоплению шума в резервуаре эхо-сети при увеличении влияния памяти резервуара. Заключение. Показано, что функции активации вида сигмоиды со значениями от 0 до 1 подходят для подавления мультипликативных и смешанных шумов. Было рассмотрено накопление шума в резервуаре для трех типов матриц связи внутри резервуара: однородная матрица, ленточная матрица с малым коэффициентом рассеяния и ленточная матрица с большим коэффициентом рассеяния. Было установлено, что эхо-сети с ленточной матрицей с большим коэффициентом рассеяния накапливают шумы меньше всех остальных. Это работает как для аддитивных, так и для мультипликативных шумов.