RUS  ENG
Полная версия
ВИДЕОТЕКА

Научная сессия МИАН, посвященная подведению итогов 2024 года
20 ноября 2024 г. 11:15, г. Москва, МИАН, конференц-зал 9 этаж + online


Квантизация больших языковых моделей с переопределенным базисом

Б. С. Кашин, И. В. Оселедец


https://vk.com/video-222947497_456239049
https://youtu.be/EF5OHACHDRI

Аннотация: В работе предложен алгоритм для эффективной квантизации данных, предлагаемый для использования в Больших языковых моделях и других задачах машинного обучения, требующих хранения и использования большого объема информации. Алгоритм основан на использовании так называемого “представления Кашина”. В итоге работы алгоритма многомерный ($N$-мерный) вектор (матрица, тензор) представляется в виде суммы двух векторов, таких, что первый вектор имеет малую равномерную норму, а второй имеет малую равномерную норму относительного другого, (случайного) ортонормированного базиса в $\mathbb{R}^N$. Неожиданным оказался тот факт, что для случайных векторов максимумы норм компонент разложения оказываются сконцентрированными вокруг нескольких пиков. Численные эксперименты показывают преимущество предложенного алгоритма в сравнении с некоторыми другими методами квантизации.

Список литературы
  1. D. Merkulov, D. Cherniuk, A. Rudikov, I. Oseledets, E. Muravleva, A. Mikhalev, B. Kashin, “Quantization of Large Language Models with an Overdetermined Basis”, Proceedings of the 40th Conference on Uncertainty in Artificial Intelligence (UAI 2024), Proceedings of Machine Learning Research, 244, 2024, 2527–2536 https://proceedings.mlr.press/v244/merkulov24a.html, arXiv: 2404.09737  hlocal  crossref


© МИАН, 2024