Score Change of Variables

要約

スコア関数の変数式の一般的な変更を導き出します。スムーズで反転可能な変換$ \ mathbf {y} = \ phi（\ mathbf {x}）$を示します。
}} \ log q（\ mathbf {y}）$は、直接表現できます
$ \ nabla _ {\ mathbf {x}} \ log p（\ mathbf {x}）$。
この結果を使用して、2つのアプリケーションを開発します。まず、スコアベースの拡散モデルに逆タイムIT \^o lemmaを確立し、$ \ nabla _ {\ mathbf {x}} \ log p_t（\ mathbf {
x}）$ $ \ nabla _ {\ mathbf {y}}を直接学習せずに、変換された空間のSDEを逆にする
\ log q_t（\ mathbf {y}）$。
このアプローチにより、あるスペースで拡散モデルをトレーニングすることができますが、別のスペースでサンプリングし、フォワードプロセスと逆のプロセスを効果的に切り離します。
第二に、一般化されたスライススコアマッチングを導入し、従来のスライススコアマッチングを線形投影から任意の滑らかな変換に拡張します。
これにより、高次元密度の推定における柔軟性が向上します。
これらの理論的進歩をアプリケーションを通じて実証して、単純な確率で拡散し、一般化されたスコアマッチングアプローチを従来のスライススコアマッチング方法と経験的に比較します。

要約(オリジナル)

We derive a general change of variables formula for score functions, showing that for a smooth, invertible transformation $\mathbf{y} = \phi(\mathbf{x})$, the transformed score function $\nabla_{\mathbf{y}} \log q(\mathbf{y})$ can be expressed directly in terms of $\nabla_{\mathbf{x}} \log p(\mathbf{x})$. Using this result, we develop two applications: First, we establish a reverse-time It\^o lemma for score-based diffusion models, allowing the use of $\nabla_{\mathbf{x}} \log p_t(\mathbf{x})$ to reverse an SDE in the transformed space without directly learning $\nabla_{\mathbf{y}} \log q_t(\mathbf{y})$. This approach enables training diffusion models in one space but sampling in another, effectively decoupling the forward and reverse processes. Second, we introduce generalized sliced score matching, extending traditional sliced score matching from linear projections to arbitrary smooth transformations. This provides greater flexibility in high-dimensional density estimation. We demonstrate these theoretical advances through applications to diffusion on the probability simplex and empirically compare our generalized score matching approach against traditional sliced score matching methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google