Семантические идентификаторы переменной длины для рекомендательных систем

Генеративные модели стали важной частью рекомендательных систем, как для моделирования пользователей в виде последовательностей событий, так и для интеграции больших языковых моделей в рекомендации. Из-за очень больших размеров каталогов, из которых рекомендуются объекты, такие модели сложно обучать и совмещать с языковыми моделями. Потенциальным решением этой проблемы являются семантические идентификаторы, которые представляют айтемы как последовательности токенов из небольшого словаря.
В данном докладе мы обсудим популярные методы, которыми строятся семантические идентификаторы. Также докладчик расскажет о своих исследованиях и результатах, в которых семантические идентификаторы обобщаются на переменную длину.