Аннотация:
В работе предложен алгоритм для эффективной квантизации данных,
предлагаемый для использования в Больших языковых моделях и других задачах
машинного обучения, требующих хранения и использования большого объема
информации. Алгоритм основан на использовании так называемого “представления
Кашина”. В итоге работы алгоритма многомерный ($N$-мерный) вектор (матрица,
тензор) представляется в виде суммы двух векторов, таких, что первый вектор имеет
малую равномерную норму, а второй имеет малую равномерную норму относительного
другого, (случайного) ортонормированного базиса в $\mathbb{R}^N$. Неожиданным
оказался тот факт, что для случайных векторов максимумы норм компонент разложения
оказываются сконцентрированными вокруг нескольких пиков. Численные эксперименты
показывают преимущество предложенного алгоритма в сравнении с некоторыми другими
методами квантизации.
Список литературы
-
D. Merkulov, D. Cherniuk, A. Rudikov, I. Oseledets, E. Muravleva, A. Mikhalev, B. Kashin, “Quantization of Large Language Models with an Overdetermined Basis”, Proceedings of the 40th Conference on Uncertainty in Artificial Intelligence (UAI 2024), Proceedings of Machine Learning Research, 244, 2024, 2527–2536 https://proceedings.mlr.press/v244/merkulov24a.html, arXiv: 2404.09737
 
|
