Enhancing Sample Generation of Diffusion Models using Noise Level Correction

要約

拡散モデルの除去プロセスは、データマニホールドへのノイズの多いサンプルのおおよその投影として解釈できます。
さらに、これらのサンプルのノイズレベルは、基礎となるマニホールドまでの距離を近似します。
この洞察に基づいて、推定ノイズレベルをマニホールドまでの真の距離に合わせてサンプル生成を強化する新しい方法を提案します。
具体的には、事前に訓練された除去ネットワークを活用するノイズレベルの修正ネットワークを導入して、除去プロセス中にノイズレベルの推定値を改良します。
さらに、このアプローチは、インポインティング、デブラリング、スーパー解像度、着色、圧縮センシングなどのタスク固有の制約を統合することにより、さまざまな画像修復タスクに拡張します。
実験結果は、私たちの方法が、制約のない生成シナリオと制約の両方の両方のシナリオでサンプルの品質を大幅に改善することを示しています。
特に、提案されているノイズレベル補正フレームワークは、既存の除去スケジューラー（DDIMなど）と互換性があり、パフォーマンスの追加改善を提供します。

要約(オリジナル)

The denoising process of diffusion models can be interpreted as an approximate projection of noisy samples onto the data manifold. Moreover, the noise level in these samples approximates their distance to the underlying manifold. Building on this insight, we propose a novel method to enhance sample generation by aligning the estimated noise level with the true distance of noisy samples to the manifold. Specifically, we introduce a noise level correction network, leveraging a pre-trained denoising network, to refine noise level estimates during the denoising process. Additionally, we extend this approach to various image restoration tasks by integrating task-specific constraints, including inpainting, deblurring, super-resolution, colorization, and compressed sensing. Experimental results demonstrate that our method significantly improves sample quality in both unconstrained and constrained generation scenarios. Notably, the proposed noise level correction framework is compatible with existing denoising schedulers (e.g., DDIM), offering additional performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google