Neural Diffusion Models

要約

拡散モデルは、多くの生成タスクで顕著なパフォーマンスを示しています。
最近の成功にもかかわらず、ほとんどの拡散モデルはデータ分布の線形変換のみを許可するという制限があります。
対照的に、より広範な変換ファミリーは、生成分布をより効率的にトレーニングするのに役立つ可能性があり、逆のプロセスを簡素化し、真の負の対数尤度と変分近似の間のギャップを埋めることができます。
この論文では、データの時間依存の非線形変換の定義と学習を可能にする従来の拡散モデルを一般化したニューラル拡散モデル (NDM) を紹介します。
シミュレーションなしの設定で変分限界を使用して NDM を最適化する方法を示します。
さらに、NDM の時間連続定式化を導出します。これにより、既製の数値 ODE および SDE ソルバーを使用した高速で信頼性の高い推論が可能になります。
最後に、CIFAR-10、ImageNet のダウンサンプリング バージョン、CelebA-HQ などの標準的な画像生成ベンチマークの実験を通じて、学習可能な変換を備えた NDM の有用性を実証します。
NDM は、可能性の点で従来の拡散モデルよりも優れたパフォーマンスを示し、高品質のサンプルを生成します。

要約(オリジナル)

Diffusion models have shown remarkable performance on many generative tasks. Despite recent success, most diffusion models are restricted in that they only allow linear transformation of the data distribution. In contrast, broader family of transformations can potentially help train generative distributions more efficiently, simplifying the reverse process and closing the gap between the true negative log-likelihood and the variational approximation. In this paper, we present Neural Diffusion Models (NDMs), a generalization of conventional diffusion models that enables defining and learning time-dependent non-linear transformations of data. We show how to optimise NDMs using a variational bound in a simulation-free setting. Moreover, we derive a time-continuous formulation of NDMs, which allows fast and reliable inference using off-the-shelf numerical ODE and SDE solvers. Finally, we demonstrate the utility of NDMs with learnable transformations through experiments on standard image generation benchmarks, including CIFAR-10, downsampled versions of ImageNet and CelebA-HQ. NDMs outperform conventional diffusion models in terms of likelihood and produce high-quality samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google