Neural networks with dynamical coefficients and adjustable connections on the basis of integrated backpropagation

Рассматриваются искусственные нейроны, чьи весовые коэффициенты будут изменяться по специальному закону, основанному на интегрированном в их модели обратном распространении. Для этого коэффициенты погрешности обратного распространения вводятся в явном виде во все модели нейронов и осуществляется передача их значений вдоль межнейронных связей. В дополнение к этому вводится специальный тип нейронов с эталонными входами, которые будут выступать в качестве основного источника первичной оценки погрешности для всей нейронной сети. В последнюю очередь вводится контрольный сигнал для запуска обучения, который будет управлять процессом передачи коэффициентов погрешности и корректировкой весов нейронов. Для рекуррентных нейронных сетей демонстрируется как провести интеграцию обратного распространения во времени в их формализм с помощью стековой памяти для внешних входов нейронов. Дополнительно к этому рассматриваются примеры как формализовать в рамках данного подхода такие популярные нейронные сети, как сети долгой кратковременной памяти, сети радиально-базисных функций, многослойные перцептроны и сверточные нейронные сети. Основным практическим следствием данного подхода является возможность описания нейронных сетей с перестраиваемыми связями на основе интегрированного алгоритма обратного распространения.