Простой метод улучшения качества тренировки разреженных моделей с нуля

Существующие алгоритмы прореживания позволяют получать разреженные нейронные сети, обладающие хорошим качеством. Однако, при обучении с нуля полученной разреженной структуры, зачастую не получается достичь качества, полученного в результате прореживания (это особенно заметно для сильно разреженных архитектур). В данной работе описывается метод, позволяющий улучшать качество при обучении с нуля, восстанавливая некоторые веса в разреженной архитектуре.