Beyond Fixed Horizons: A Theoretical Framework for Adaptive Denoising Diffusions

要約

新しいクラスの生成拡散モデルを導入します。これは、従来の除去拡散モデルとは異なり、ノイシングプロセスと除去プロセスの両方に対して時間同期の構造を実現し、ノイズレベルに基づいて適応的に調整できるステップ数を適応させることができます。
これは、Doobの$ h $ -Transformを使用してフォワードプロセスを条件付けすることで実現されます。これは、ランダムな時間に適切なサンプリング分布でプロセスを終了します。
このモデルは、終了基準が最初のヒットルールに簡素化されるため、より低い内因性寸法のデータを生成するのに特に適しています。
モデルの重要な特徴は、ターゲットデータへの適応性であり、事前に訓練された無条件の生成モデルを使用して、さまざまなダウンストリームタスクを可能にします。
これらのタスクには、除去プロセスの適切な初期化とノイズの多いデータの分類による自然な条件付けが含まれます。

要約(オリジナル)

We introduce a new class of generative diffusion models that, unlike conventional denoising diffusion models, achieve a time-homogeneous structure for both the noising and denoising processes, allowing the number of steps to adaptively adjust based on the noise level. This is accomplished by conditioning the forward process using Doob’s $h$-transform, which terminates the process at a suitable sampling distribution at a random time. The model is particularly well suited for generating data with lower intrinsic dimensions, as the termination criterion simplifies to a first-hitting rule. A key feature of the model is its adaptability to the target data, enabling a variety of downstream tasks using a pre-trained unconditional generative model. These tasks include natural conditioning through appropriate initialization of the denoising process and classification of noisy data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google