Understanding the Diffusion Objective as a Weighted Integral of ELBOs

要約

タイトル：ELBOの加重積分としての拡散目的の理解
要約：
– 様々な重みの損失関数は、重み関数がノイズレベルごとの重みを指定する重み付け損失関数と特定される。均一な重み付けはエルボを最大化する原理に基づいた最大尤度の堅い近似に対応する。
– 現在の実践では、サンプル品質に関するより良い結果のために、重み付けは均等でなくなっている。
– 本研究で、重み付け損失（任意の重み付けで）とエルボ目的との直接的な関係を明らかにする。
– 重み付け損失は、ノイズレベルごとに1つのエルボによる加重積分として表すことができる。重み関数が単調であれば、重み付け損失は尤度に基づく目的になる。
– 本研究の主要貢献は、拡散目的のより深い理論的理解であるが、単調な重み付けと非単調な重み付けを比較した実験も行い、単調な重み付けは最良の発表結果と競合する結果を出した。

要約(オリジナル)

Diffusion models in the literature are optimized with various objectives that are special cases of a weighted loss, where the weighting function specifies the weight per noise level. Uniform weighting corresponds to maximizing the ELBO, a principled approximation of maximum likelihood. In current practice diffusion models are optimized with non-uniform weighting due to better results in terms of sample quality. In this work we expose a direct relationship between the weighted loss (with any weighting) and the ELBO objective. We show that the weighted loss can be written as a weighted integral of ELBOs, with one ELBO per noise level. If the weighting function is monotonic, then the weighted loss is a likelihood-based objective: it maximizes the ELBO under simple data augmentation, namely Gaussian noise perturbation. Our main contribution is a deeper theoretical understanding of the diffusion objective, but we also performed some experiments comparing monotonic with non-monotonic weightings, finding that monotonic weighting performs competitively with the best published results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI