The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability

要約

生成拡散モデルは、生成モデリングの多くの分野で目覚ましいパフォーマンスを達成しました。
これらのモデルの背後にある基本的な考え方は、非平衡物理学、変分推論、確率微積分から来ていますが、この論文では、これらのモデルの多くの側面が平衡統計力学のツールを使用して理解できることを示します。
この再定式化を使用して、生成拡散モデルが対称性の破れ現象に対応する二次相転移を起こすことを示します。
これらの相転移は生成力学における自己無撞着条件の結果であるため、常に平均場の普遍性クラスに属することを示します。
我々は、相転移から生じる臨界不安定性がその生成能力の中心にあり、それは一連の平均場臨界指数によって特徴付けられると主張する。
さらに、無秩序なシステムの統計物理学を使用して、記憶が無秩序な相転移に対応する臨界凝縮の一形態として理解できることを示します。
最後に、生成プロセスの動的方程式が、系を熱平衡に保ちながら自由エネルギーを最小化する確率的断熱変換として解釈できることを示します。

要約(オリジナル)

Generative diffusion models have achieved spectacular performance in many areas of generative modeling. While the fundamental ideas behind these models come from non-equilibrium physics, variational inference and stochastic calculus, in this paper we show that many aspects of these models can be understood using the tools of equilibrium statistical mechanics. Using this reformulation, we show that generative diffusion models undergo second-order phase transitions corresponding to symmetry breaking phenomena. We show that these phase-transitions are always in a mean-field universality class, as they are the result of a self-consistency condition in the generative dynamics. We argue that the critical instability that arises from the phase transitions lies at the heart of their generative capabilities, which are characterized by a set of mean field critical exponents. Furthermore, using the statistical physics of disordered systems, we show that memorization can be understood as a form of critical condensation corresponding to a disordered phase transition. Finally, we show that the dynamic equation of the generative process can be interpreted as a stochastic adiabatic transformation that minimizes the free energy while keeping the system in thermal equilibrium.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google