Feature engineering pipeline optimisation in AutoML workflow using large language models

Одним из важных путей достижения более эффективного автоматизированного машинного обучения является применение мета-оптимизации на всех этапах проектирования конвейера. В данной работе мы стремимся использовать крупные языковые модели для этапов разработки признаков как в роли оптимизаторов, так и экспертов в области знаний. Мы закодировали конвейер разработки признаков на естественном языке в виде последовательности атомарных операций. “Черный ящик” оптимизации реализован путем запроса конвейера разработки признаков у языковой модели с использованием подсказки, состоящей из предопределенных инструкций, описания набора данных и ранее оцененных конвейеров. Для увеличения временной эффективности и стабильности оптимизации был реализован алгоритм на основе популяций, генерирующий набор конвейеров с каждым ответом языковой модели вместо одного. Совместно было предложено многократное улучшение, чтобы предоставить языковой модели дополнительную доменную информацию. Чтобы проанализировать применимость предложенного подхода, мы проводим серию экспериментов на открытых наборах данных. В качестве базового подхода для задачи оптимизации был выбран метод случайного поиска. Прямые результаты, полученные с использованием модели gpt-3.5-turbo, близки к базовому подходу с той же временной стоимостью. Генерация конвейеров на основе популяций превосходит базовый подход и другие методы. Это подтверждает, что предложенный подход может повысить общую производительность моделей машинного обучения при таких же временных затратах на оптимизацию и меньшем количестве токенов для получения результата. Библ. – 62 назв.