Дообучение нейронных сетей: методы и эксперименты

В статье рассматриваются современные подходы к дообучению (transfer learning, fine-tuning) нейронных сетей для повышения качества при небольшом объёме данных. Приведены теоретические основы дообучения, в том числе методы регуляризации (dropout, L2), адаптация скорости обучения и параметрически эффективное дообучение (LoRA). Проведён эксперимент на задаче классификации тональности отзывов о ресторанах (на основе русскоязычных данных Яндекса) с использованием методов Zero-Shot, Feature Extraction, Fine- Tuning и LoRA. Представлены примеры кода и результаты (табличные и графические) сравнения точности моделей. Анализ результатов показывает, что метод LoRA обеспечивает наивысшую точность при существенно меньшей вычислительной нагрузке, в то время как Zero-Shot уступает другим методам. Приведены рекомендации по выбору методов дообучения для задач на малых данных.