Diagnosing and Improving Diffusion Models by Estimating the Optimal Loss Value

要約

拡散モデルは、生成モデリングで顕著な成功を収めています。
より安定したトレーニングにもかかわらず、拡散モデルの喪失は、最適な値は通常ゼロではなく未知であり、大きな最適損失と不十分なモデル容量の間の混乱をもたらすため、絶対的なデータフィット品質を示すものではありません。
この作業では、拡散モデルを診断および改善するための最適な損失値を推定する必要性を提唱します。
最初に、拡散モデルの統一された定式化の下で閉じた形で最適な損失を導き出し、分散とバイアスを適切に制御できる大規模なデータセットにスケーラブルにスケーラブルにできる確率的バリアントを含む効果的な推定器を開発します。
このツールを使用すると、主流の拡散モデルバリアントのトレーニング品質を診断するための固有のメトリックのロックを解除し、最適な損失に基づいてよりパフォーマンスのあるトレーニングスケジュールを開発します。
さらに、120mから1.5Bのパラメーターを持つモデルを使用して、実際のトレーニング損失から最適な損失を減算した後、電力法則がよりよく実証されていることがわかり、拡散モデルのスケーリング法則を調査するためのより原則的な設定を示唆しています。

要約(オリジナル)

Diffusion models have achieved remarkable success in generative modeling. Despite more stable training, the loss of diffusion models is not indicative of absolute data-fitting quality, since its optimal value is typically not zero but unknown, leading to confusion between large optimal loss and insufficient model capacity. In this work, we advocate the need to estimate the optimal loss value for diagnosing and improving diffusion models. We first derive the optimal loss in closed form under a unified formulation of diffusion models, and develop effective estimators for it, including a stochastic variant scalable to large datasets with proper control of variance and bias. With this tool, we unlock the inherent metric for diagnosing the training quality of mainstream diffusion model variants, and develop a more performant training schedule based on the optimal loss. Moreover, using models with 120M to 1.5B parameters, we find that the power law is better demonstrated after subtracting the optimal loss from the actual training loss, suggesting a more principled setting for investigating the scaling law for diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google