Improving Probabilistic Diffusion Models With Optimal Diagonal Covariance Matching

要約

確率的拡散モデルは、さまざまなドメインで非常に効果的になりました。
通常、拡散モデルからのサンプリングには、学習された平均と固定または学習の共分散を持つガウスを特徴とする除去分布を使用することが含まれます。
この論文では、最近提案された共分散モーメントマッチングテクニックを活用し、対角線の共分散を学習するための新しい方法を導入します。
従来のデータ駆動型の対角線共分散近似アプローチとは異なり、私たちの方法では、最適な共分散マッチング（OCM）という名前の新しい偏見のない目的を使用して、最適な対角線分析共分散を直接回帰することが含まれます。
このアプローチは、共分散予測の近似誤差を大幅に減らすことができます。
私たちの方法が、サンプリング効率、リコール率、および一般的に使用される拡散モデルの可能性を大幅に向上させる方法を示します。

要約(オリジナル)

The probabilistic diffusion model has become highly effective across various domains. Typically, sampling from a diffusion model involves using a denoising distribution characterized by a Gaussian with a learned mean and either fixed or learned covariances. In this paper, we leverage the recently proposed covariance moment matching technique and introduce a novel method for learning the diagonal covariance. Unlike traditional data-driven diagonal covariance approximation approaches, our method involves directly regressing the optimal diagonal analytic covariance using a new, unbiased objective named Optimal Covariance Matching (OCM). This approach can significantly reduce the approximation error in covariance prediction. We demonstrate how our method can substantially enhance the sampling efficiency, recall rate and likelihood of commonly used diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google