Оптимизация весов модальностей в тематических моделях транзакционных данных

Современные модели обработки естественного языка, такие как трансформеры, работают с мультимодальными данными. В данной работе исследуются мультимодальные данные с помощью мультимодального тематического моделирования над транзакционными данными корпоративных клиентов банка. Предлагается определение важности модальности для модели, на основе которого рассматриваются улучшения для двух сценариев моделирования: сохранение максимального количества информации с помощью балансирования модальностей и автоматический подбор весов модальностей для оптимизации вспомогательных критериев на основе тематических представлений документов.
Предлагается модель добавления численных данных в тематические модели в виде модальностей: каждой теме сопоставляется нормальное распределение с обучаемыми параметрами. Демонстрируются существенные улучшения по сравнению со стандартными тематическими моделями на задаче моделирования корпоративных клиентов банка. На основе тематических представлений клиентов банка прогнозируется 90-дневная просрочка по кредиту.