First Hitting Diffusion Models

要約

我々は、ランダムな初回ヒット時間で終了する拡散プロセスでデータを生成する深い生成モデルである初回ヒット拡散モデル(FHDM)のファミリーを提案する。これは、あらかじめ指定された決定論的時間で終了する標準的な固定時間拡散モデルを拡張したものである。標準的な拡散モデルは連続的な制約のないデータを対象として設計されていますが、FHDMは連続だけでなく、様々な離散領域や構造領域上の分布を学習できるように自然に設計されています。さらに、FHDMはインスタンスに依存した終端時間を可能にし、より少ない拡散ステップでより質の高いデータをサンプリングするために拡散プロセスを加速させることができます。技術的には、一般的に用いられる時間反転のメカニズムとは異なり、Doobの$h$変換に基づいて導出された条件付き初安打過程（すなわちブリッジ）を用いて観測データから補強された拡散軌道に対する最尤推定によってFHDMを学習させます。点群（一般的な連続分布）、地球上の気候や地理的事象（球面上の連続分布）、重みなしグラフ（2値行列の分布）、2次元画像のセグメンテーションマップ（高次元カテゴリ分布）など様々な領域のデータ生成にFHDMを適用する。その結果、品質と速度の両方において、最新のアプローチと比較して大幅な改善が見られる。

要約(オリジナル)

We propose a family of First Hitting Diffusion Models (FHDM), deep generative models that generate data with a diffusion process that terminates at a random first hitting time. This yields an extension of the standard fixed-time diffusion models that terminate at a pre-specified deterministic time. Although standard diffusion models are designed for continuous unconstrained data, FHDM is naturally designed to learn distributions on continuous as well as a range of discrete and structure domains. Moreover, FHDM enables instance-dependent terminate time and accelerates the diffusion process to sample higher quality data with fewer diffusion steps. Technically, we train FHDM by maximum likelihood estimation on diffusion trajectories augmented from observed data with conditional first hitting processes (i.e., bridge) derived based on Doob’s $h$-transform, deviating from the commonly used time-reversal mechanism. We apply FHDM to generate data in various domains such as point cloud (general continuous distribution), climate and geographical events on earth (continuous distribution on the sphere), unweighted graphs (distribution of binary matrices), and segmentation maps of 2D images (high-dimensional categorical distribution). We observe considerable improvement compared with the state-of-the-art approaches in both quality and speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL