Speed-accuracy relations for diffusion models: Wisdom from nonequilibrium thermodynamics and optimal transport

要約

拡散モデルと呼ばれる生成モデルと、確率的熱力学と呼ばれるFokker-Planck方程式の非平衡熱力学との関係について説明します。
確率的熱力学からの手法を使用して、データ生成の精度をエントロピー生産速度に関連付ける不平等である拡散モデルの速度acccuuracy関係を導き出します。
この関係は、非保守的な力の非存在下での拡散ダイナミクスの速度として解釈できます。
確率的熱力学的観点から、我々の結果は、拡散モデルでデータを生成する最善の方法についての定量的な洞察を提供します。
最適な学習プロトコルは、最適な輸送理論における2ワセルタイン距離の空間の測地線によって導入されます。
さまざまなノイズスケジュールと異なるデータを持つ拡散モデルの速度acccuuracy関係の妥当性を数値的に説明します。
最適な学習プロトコルと最適でない学習プロトコルについて、結果について数値的に説明します。
また、実際の画像データセットからのデータ生成への結果の適用性も示します。

要約(オリジナル)

We discuss a connection between a generative model, called the diffusion model, and nonequilibrium thermodynamics for the Fokker-Planck equation, called stochastic thermodynamics. Using techniques from stochastic thermodynamics, we derive the speed-accuracy relations for diffusion models, which are inequalities that relate the accuracy of data generation to the entropy production rate. This relation can be interpreted as the speed of the diffusion dynamics in the absence of the non-conservative force. From a stochastic thermodynamic perspective, our results provide quantitative insight into how best to generate data in diffusion models. The optimal learning protocol is introduced by the geodesic of space of the 2-Wasserstein distance in optimal transport theory. We numerically illustrate the validity of the speed-accuracy relations for diffusion models with different noise schedules and different data. We numerically discuss our results for optimal and suboptimal learning protocols. We also demonstrate the applicability of our results to data generation from the real-world image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google