Continuous-Time Functional Diffusion Processes

要約

スコアベースの拡散モデルを無限次元関数空間に一般化する関数拡散プロセス (FDP) を紹介します。
FDP には、前方および後方のダイナミクスを記述するための新しい数学的フレームワークと、実践的なトレーニング目標を導き出すためのいくつかの拡張が必要です。
これらには、ELBO を計算できるようにするためのギルサノフ定理の無限次元バージョンと、可算点の集合における関数評価が無限次元関数と同等であることを保証するためのサンプリング定理の無限次元バージョンが含まれます。
私たちは FDP を使用して、特殊なネットワーク アーキテクチャを必要とせず、あらゆる種類の連続データを処理できる新しい種類の生成モデルを関数空間で構築します。
実際のデータに関する我々の結果は、FDP が既存の拡散モデルよりも数桁少ないパラメータを備えたシンプルな MLP アーキテクチャを使用して、高品質の画像生成を達成していることを示しています。

要約(オリジナル)

We introduce Functional Diffusion Processes (FDPs), which generalize score-based diffusion models to infinite-dimensional function spaces. FDPs require a new mathematical framework to describe the forward and backward dynamics, and several extensions to derive practical training objectives. These include infinite-dimensional versions of Girsanov theorem, in order to be able to compute an ELBO, and of the sampling theorem, in order to guarantee that functional evaluations in a countable set of points are equivalent to infinite-dimensional functions. We use FDPs to build a new breed of generative models in function spaces, which do not require specialized network architectures, and that can work with any kind of continuous data. Our results on real data show that FDPs achieve high-quality image generation, using a simple MLP architecture with orders of magnitude fewer parameters than existing diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google