On learning higher-order cumulants in diffusion models

要約

拡散モデルがガウス相関を超える相関をどのように学習するかを分析するために、順方向プロセスと逆方向プロセスの両方で高次キュムラント、つまり接続された n 点関数の動作を研究します。
初期データの分布と順過程の特性の観点から、モーメント生成関数とキュムラント生成関数の明示的な式を導出します。
順方向プロセス中、分散拡張スキームなどのドリフトのないモデルでは高次キュムラントが保存され、したがって順方向プロセスのエンドポイントが自明ではない相関を維持することが分析的に示されています。
これらの相関はスコア関数でエンコードされているため、通常の事前分布から開始する場合にも、高次キュムラントが逆方向プロセスで学習されることを示します。
解析結果は、ゼロ以外のキュムラントを含む正確に解けるおもちゃのモデルとスカラー格子場理論で確認されます。

要約(オリジナル)

To analyse how diffusion models learn correlations beyond Gaussian ones, we study the behaviour of higher-order cumulants, or connected n-point functions, under both the forward and backward process. We derive explicit expressions for the moment- and cumulant-generating functionals, in terms of the distribution of the initial data and properties of forward process. It is shown analytically that during the forward process higher-order cumulants are conserved in models without a drift, such as the variance-expanding scheme, and that therefore the endpoint of the forward process maintains nontrivial correlations. We demonstrate that since these correlations are encoded in the score function, higher-order cumulants are learnt in the backward process, also when starting from a normal prior. We confirm our analytical results in an exactly solvable toy model with nonzero cumulants and in scalar lattice field theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google