Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control

要約

拡散確率モデル（DPMS）は、多くの生成タスクで比類のない成功を達成した強力な生成モデルです。
この作業では、モデルへのデータのターゲット分布に適した拡散モデルのトレーニングとサンプリングに帰納的バイアスを構築することを目指しています。
トポロジカル構造のデータについては、これらの誘導バイアスを意図的に操作し、設定するために、周波数ベースのノーシングオペレーターを考案します。
最初に、ノーシングフォワードプロセスの適切な操作がDPMSを導き、学習する分布の特定の側面に焦点を合わせることができることを示します。
さまざまなデータセットが異なる帰納的バイアスを必要とし、適切な周波数ベースのノイズ制御が標準拡散と比較して生成パフォーマンスの増加を誘発することを示します。
最後に、学習中に特定の周波数で情報を無視する可能性を示します。
これを画像の腐敗と回復タスクに示します。このタスクでは、深刻な騒音腐敗後に元のターゲット分布を回復するためにDPMをトレーニングします。

要約(オリジナル)

Diffusion Probabilistic Models (DPMs) are powerful generative models that have achieved unparalleled success in a number of generative tasks. In this work, we aim to build inductive biases into the training and sampling of diffusion models to better accommodate the target distribution of the data to model. For topologically structured data, we devise a frequency-based noising operator to purposefully manipulate, and set, these inductive biases. We first show that appropriate manipulations of the noising forward process can lead DPMs to focus on particular aspects of the distribution to learn. We show that different datasets necessitate different inductive biases, and that appropriate frequency-based noise control induces increased generative performance compared to standard diffusion. Finally, we demonstrate the possibility of ignoring information at particular frequencies while learning. We show this in an image corruption and recovery task, where we train a DPM to recover the original target distribution after severe noise corruption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google