Градиентная маска: как механизм латерального торможения улучшает работу искусственных нейронных сетей

В настоящей работе мы предлагаем градиентную маску, которая отфильтровывает градиенты шума в процессе обратного распространения. Такое обучение позволяет увеличивать плотность и амплитуду представления сигналов в сети. В работе мы представляем новую меру качества градиента. Мы демонстрируем аналитическими методами, как латеральное торможение в искусственных нейронных сетях улучшает качество распространяемых градиентов. Наконец, проводим несколько различных экспериментов, чтобы изучить, как градиентная маска улучшает количественную и качественную производительность сети.