Статистический анализ генеративных диффузионных моделей

Диффузионные модели являются одним из передовых методов генеративного моделирования, способным создавать изображения высокого разрешения. В их основе лежит идея искажения исходных данных с помощью шума и восстановления обратного преобразования. Как правило, для этого используется метод сопоставления градиентов логарифмов плотностей или скор-функций (denoising score matching, см. [Vincent, Neural Comput., 2011]). В последние несколько лет был предпринят ряд попыток провести статистический анализ данного подхода и получить верхние теоретические границы на точность оценивания распределения данных по выборке конечного объема с помощью метода сопоставления скор-функций. В большинстве случаев полученные результаты оказываются бессодержательными в пространствах большой размерности. В рамках доклада будет рассмотрена вероятностно-статистическая модель, предполагающая малую энтропийную размерность распределения данных, что позволяет избежать проклятия размерности. Будет установлена скорость сходимости оценки метода сопоставления скор-функций к градиенту логарифма плотности распредения элементов выборки.

Список литературы

1. K. Yakovlev, N. Puchkin, Generalization error bound for denoising score matching under relaxed manifold assumption, 2025, 70 pp., arXiv: 2502.13662