Информационная эффективность ассоциативной памяти типа Хопфилда с разреженным кодированием

Аттракторная нейронная сеть хопфилдового типа исследуется аналитически и путем компьютерного моделирования. Вычисляются информационная емкость, качество воспроизведения и размер областей притяжения. Выявляются асимптотические свойства нейронных сетей путем компьютерного моделирования для больших размеров сетей (до 150000 нейронов). Показано, что существующие аналитические подходы недостаточны для случая большой разреженности. Показано, что размер областей притяжения меняется немонотонно при возрастании разреженности: вначале он возрастает, а потом – убывает. Поэтому в пределе большой разреженности способность сети к коррекции эталонов ухудшается, в то же время информационная емкость и качество воспроизведения повышаются. Информационная эффективность сети, достигаемая за счет коррекции искаженных эталонов, рассматривается как обобщенная характеристика способности сети выполнять функцию автоассоциативной памяти. Существует оптимальная разреженность, для которой информационная эффективность максимальна. Оптимальная разреженность оказывается близкой к уровню нервной активности мозга.