Применения больших языковых моделей для задач порождения и обработки программного кода

В последние годы большие языковые модели (Large Language Models, LLM) существенно изменили подходы к автоматизации программирования, предоставляя мощные инструменты для порождения, исправления и оптимизации кода. В настоящем обзоре мы рассматриваем методы адаптации LLM к задачам программирования, включая обучение с подкреплением на основе человеческих предпочтений (RLHF), дообучение следованию инструкциям (instruction tuning), адаптивные подходы (PEFT) и эффективные стратегии промптинга (prompting). Мы систематизируем современные методы дообучения и применения моделей, обсуждаем их преимущества и ограничения, рассматриваем актуальные датасеты для задача порождения и исправления кода и метрики их оценивания, а также описываем передовые модели с открытыми весами для работы с кодом. Библ. – 145 назв.