RUS  ENG
Полная версия
ЖУРНАЛЫ // Записки научных семинаров ПОМИ // Архив

Зап. научн. сем. ПОМИ, 2024, том 540, страницы 162–177 (Mi znsl7549)

Improving RAG with LoRA finetuning for persona text generation

[Улучшение RAG с помощью дообучения LoRA для генерации текста персонажа]

V. Pavliukevichab, A. Zherdevaab, O. Makhnytkinaab, D. Dyrmovskiyab

a Speech Technology Center, Saint Petersburg, Russia
b ITMO University, Saint Petersburg, Russia

Аннотация: В статье рассматривается задача поддержания согласованности в системах порождения текста с использованием поиска (Retrieval-Augmented Generation, RAG) для порождения текста персонажей в случаях, когда базы данных подвержены частым обновлениям, и стандартное дообучение больших языковых моделей (LLM) оказывается недостаточной. Мы предлагаем подход, который улучшает существующую систему RAG, применяемую для поиска информации, основанной на персонажах в диалоговых агентах, посредством дообучения с использованием Low-Rank Adaptation на синтетических данных. Нами было установлено, что данный метод улучшает логику и точность системы на 5% по оценкам SSA и обеспечивает создание более связного и контекстуально релевантного контента. Библ. – 23 назв.

Ключевые слова: порождение с помощью поиска, большие языковые модели, дообучение.

Поступило: 15.11.2024

Язык публикации: английский



© МИАН, 2025