Deep Networks as Denoising Algorithms: Sample-Efficient Learning of Diffusion Models in High-Dimensional Graphical Models

要約

拡散ベースの生成モデリングにおけるディープ ニューラル ネットワークによるスコア関数の近似効率を調査します。
既存の近似理論はスコア関数の滑らかさを利用していますが、本質的に高次元のデータに対する次元の呪いに悩まされています。
この制限は、スコア関数の近似効率がまだ確立されていない、画像分布に一般的なマルコフ乱数場などのグラフィカル モデルで顕著です。
これに対処するために、変分推論ノイズ除去アルゴリズムを通じて、スコア関数がグラフィカル モデルで適切に近似できることが多いことがわかりました。
さらに、これらのアルゴリズムは効率的なニューラル ネットワーク表現に適しています。
これを、イジング モデル、条件付きイジング モデル、制限付きボルツマン マシン、スパース エンコーディング モデルなどのグラフィカル モデルの例で示します。
拡散ベースのサンプリングの既製の離散化誤差限界と組み合わせることで、スコア関数がディープ ニューラル ネットワークによって学習される場合、拡散ベースの生成モデリングに効率的なサンプル複雑さ限界が提供されます。

要約(オリジナル)

We investigate the approximation efficiency of score functions by deep neural networks in diffusion-based generative modeling. While existing approximation theories utilize the smoothness of score functions, they suffer from the curse of dimensionality for intrinsically high-dimensional data. This limitation is pronounced in graphical models such as Markov random fields, common for image distributions, where the approximation efficiency of score functions remains unestablished. To address this, we observe score functions can often be well-approximated in graphical models through variational inference denoising algorithms. Furthermore, these algorithms are amenable to efficient neural network representation. We demonstrate this in examples of graphical models, including Ising models, conditional Ising models, restricted Boltzmann machines, and sparse encoding models. Combined with off-the-shelf discretization error bounds for diffusion-based sampling, we provide an efficient sample complexity bound for diffusion-based generative modeling when the score function is learned by deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google