BayesDiff: Estimating Pixel-wise Uncertainty in Diffusion via Bayesian Inference

要約

拡散モデルには優れた画像生成機能がありますが、低品質の生成が依然として存在しており、適切なサンプル単位の測定基準がないため、その識別は依然として困難です。
これに対処するために、ベイズ推論に基づいた拡散モデルからの世代に対するピクセル単位の不確実性推定器である BayesDiff を提案します。
特に、拡散における不確実性ダイナミクスを特徴付けるための新しい不確実性反復原理を導出し、効率的なベイズ推論のために最終層のラプラス近似を活用します。
推定されたピクセル単位の不確実性は、サンプル単位のメトリクスに集約して、忠実度の低い画像を除外できるだけでなく、テキストから画像へのタスクで成功した世代を増やしたり、失敗した世代のアーティファクトを修正したりするのにも役立ちます。
広範な実験により、BayesDiff の有効性と実際のアプリケーションへの期待が実証されています。

要約(オリジナル)

Diffusion models have impressive image generation capability, but low-quality generations still exist, and their identification remains challenging due to the lack of a proper sample-wise metric. To address this, we propose BayesDiff, a pixel-wise uncertainty estimator for generations from diffusion models based on Bayesian inference. In particular, we derive a novel uncertainty iteration principle to characterize the uncertainty dynamics in diffusion, and leverage the last-layer Laplace approximation for efficient Bayesian inference. The estimated pixel-wise uncertainty can not only be aggregated into a sample-wise metric to filter out low-fidelity images but also aids in augmenting successful generations and rectifying artifacts in failed generations in text-to-image tasks. Extensive experiments demonstrate the efficacy of BayesDiff and its promise for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google