Subspace Diffusion Generative Models

要約

スコアベースのモデルは、高次元拡散プロセスを介してノイズをデータに (およびその逆に) マッピングすることにより、サンプルを生成します。
このプロセス全体を高次元で実行する必要があるかどうか、およびそのすべての不都合を招くかどうかを疑問視します。
代わりに、データ分布がノイズに向かって進化するにつれて、部分空間への射影による拡散を制限します。
最先端のモデルに適用すると、私たちのフレームワークは同時にサンプルの品質を向上させ、無条件の CIFAR-10 で 2.17 の FID に到達し、同じ数のノイズ除去ステップに対する推論の計算コストを削減します。
私たちのフレームワークは、連続時間拡散と完全に互換性があり、正確な対数尤度や制御可能な生成などの柔軟な機能を保持しています。
コードは https://github.com/bjing2016/subspace-diffusion で入手できます。

要約(オリジナル)

Score-based models generate samples by mapping noise to data (and vice versa) via a high-dimensional diffusion process. We question whether it is necessary to run this entire process at high dimensionality and incur all the inconveniences thereof. Instead, we restrict the diffusion via projections onto subspaces as the data distribution evolves toward noise. When applied to state-of-the-art models, our framework simultaneously improves sample quality — reaching an FID of 2.17 on unconditional CIFAR-10 — and reduces the computational cost of inference for the same number of denoising steps. Our framework is fully compatible with continuous-time diffusion and retains its flexible capabilities, including exact log-likelihoods and controllable generation. Code is available at https://github.com/bjing2016/subspace-diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google