Improving Diffusion Models’s Data-Corruption Resistance using Scheduled Pseudo-Huber Loss

要約

拡散モデルは、トレーニング データの外れ値に対して脆弱であることが知られています。
この論文では、元の $L_{2}$ 損失のような生成データの高品質を維持しながら、同時に外れ値に対して堅牢な、代替の拡散損失関数を研究します。
最も脆弱な初期の逆拡散ステップでのロバスト性と最終ステップでの詳細な復元との間のトレードオフを可能にするために、時間依存パラメータを持つ擬似フーバー損失関数を使用することを提案します。
時間依存パラメーターを使用した擬似フーバー損失は、画像ドメインと音声ドメインの両方で破損したデータセットに対して優れたパフォーマンスを示すことを示します。
さらに、私たちが提案する損失関数は、従来のトレーニング アルゴリズムと比較してデータのフィルタリングや精製を必要とせずに、拡散モデルがデータセットの破損に抵抗するのに役立つ可能性があります。

要約(オリジナル)

Diffusion models are known to be vulnerable to outliers in training data. In this paper we study an alternative diffusion loss function, which can preserve the high quality of generated data like the original squared $L_{2}$ loss while at the same time being robust to outliers. We propose to use pseudo-Huber loss function with a time-dependent parameter to allow for the trade-off between robustness on the most vulnerable early reverse-diffusion steps and fine details restoration on the final steps. We show that pseudo-Huber loss with the time-dependent parameter exhibits better performance on corrupted datasets in both image and audio domains. In addition, the loss function we propose can potentially help diffusion models to resist dataset corruption while not requiring data filtering or purification compared to conventional training algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google