Debias the Training of Diffusion Models

要約

拡散モデルは、単純なノイズ除去スコアマッチング損失を通じて変分下限を最適化することにより、説得力のある生成品質を実証しました。
この論文では、拡散モデルで一定の損失重み戦略を使用する一般的な実践が、トレーニング段階での偏った推定につながるという理論的証拠を提供します。
一定の重み付けでガウス ノイズを予測するためにノイズ除去ネットワークを単純に最適化すると、元の画像の正確な推定が妨げられる可能性があります。
この問題に対処するために、理論的に不偏の原則に基づいた洗練された効果的な重み付け戦略を提案します。
さらに、私たちは、恒常的な加重損失に由来する固有のバイアス問題を、その存在、影響、理由の観点から分析するために、包括的かつ体系的な調査を実施します。
これらの分析により、理解が進み、拡散モデルの内部動作が解明されることが期待されています。
経験的評価を通じて、私たちが提案する偏りのない推定方法が、複雑な手法に依存することなくサンプルの品質を大幅に向上させ、トレーニングプロセスとサンプリングプロセスの両方でベースライン方法と比較して効率の向上を示すことを実証します。

要約(オリジナル)

Diffusion models have demonstrated compelling generation quality by optimizing the variational lower bound through a simple denoising score matching loss. In this paper, we provide theoretical evidence that the prevailing practice of using a constant loss weight strategy in diffusion models leads to biased estimation during the training phase. Simply optimizing the denoising network to predict Gaussian noise with constant weighting may hinder precise estimations of original images. To address the issue, we propose an elegant and effective weighting strategy grounded in the theoretically unbiased principle. Moreover, we conduct a comprehensive and systematic exploration to dissect the inherent bias problem deriving from constant weighting loss from the perspectives of its existence, impact and reasons. These analyses are expected to advance our understanding and demystify the inner workings of diffusion models. Through empirical evaluation, we demonstrate that our proposed debiased estimation method significantly enhances sample quality without the reliance on complex techniques, and exhibits improved efficiency compared to the baseline method both in training and sampling processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google