RUS  ENG
Полная версия
ЖУРНАЛЫ // Интеллектуальные системы. Теория и приложения // Архив

Интеллектуальные системы. Теория и приложения, 2022, том 26, выпуск 3, страницы 64–73 (Mi ista481)

Часть 2. Специальные вопросы теории интеллектуальных систем

Остаточная сеть с рекуррентными структурами

Л. Цзянa, Ч. Цуйb, Ц. Ванa

a Московский государственный университет имени М. В. Ломоносова, механико-математический факультет
b Московский государственный университет имени М. В. Ломоносова, факультет вычислительной математики и кибернетики

Аннотация: Мы вводим рекуррентную структуру (пространственно) на остаточных сетях, с целью улучшить производительность сети при сохранении параметров. Также, мы исследуем поведение рекуррентных структур в остаточных сетях на основе римановых многообразий, вводя кривизну в качестве метрики для нейронных сетей. Кроме того, мы экспериментально подтверждаем, что усиление за счет рекуррентной структуры связано с кривизной, и демонстрируем универсальность рекуррентной структуры как метода повышения производительности сети.

Ключевые слова: нейронные сети, риманова геометрия, рекуррентные структуры, многообразие, трансформеры.



© МИАН, 2024