Физические подходы в машинном обучении

Приведено [2] объяснение гроккинга (отложенного обобщения) для перепараметризованных моделей теории обучения как проявление второго закона термодинамики, объяснены свойства гроккинга как модели статистической физики (размер времени задержки при переходе к обобщению и зависимость этого времени от размера обучающей выборки). Также гроккинг с точки зрения физики упоминался в [3].
В [1], [3] введена модель хищник‒жертва ‒ метод теории обучения с двумя взаимодействующими агентами.
В [4] метод хищник-жертва применен к задачам гроккинга, достигнуто ускорение перехода к обобщению в сто раз для модельных примеров. Рассмотрены различные примеры гроккинга, исследованы его характеристики.

Список литературы

1. S. V. Kozyrev, I. A. Lopatin, A. N. Pechen, “Control of Overfitting with Physics”, Entropy, 26 (2024), 1090, arXiv: 2412.10716    
2. S. V. Kozyrev, How to explain grokking, arXiv: 2412.18624
3. S. V. Kozyrev, I. A. Lopatin, A. N. Pechen, “Generalization in learning: Eyring formula and predator-prey model”, Lobachevskii Journal of Mathematics, 46:6 (2025), 2591–2600    
4. I. A. Lopatin, S. V. Kozyrev, A. N. Pechen, Predator–Prey Model: Driven Hunt for Accelerated Grokking, arXiv: 2509.10562
5. S. V. Kozyrev, “Action in Physics, Biology and AI”, p-Adic Numbers, Ultrametric Analysis and Applications, 17:4 (2025), 379–384 (в печати)