Geometric Neural Diffusion Processes

要約

ノイズ除去拡散モデルは、生成モデリングにとって柔軟で効果的なパラダイムであることが証明されています。
最近の無限次元ユークリッド空間への拡張により、確率過程のモデル化が可能になりました。
ただし、自然科学の多くの問題には対称性が組み込まれており、非ユークリッド空間に存在するデータが関係します。
この研究では、拡散モデルのフレームワークを拡張して、無限次元モデリングに一連の幾何学的事前分布を組み込みます。
これを行うには、a) 制限分布として、対象の対称グループの下で変換する幾何学的ガウス プロセスを許容するノイズ プロセスを構築し、b) スコアを等変なニューラル ネットワークで近似します。
このグループ。
これらの条件により、生成関数モデルが同じ対称性を認めることを示します。
新しいランジュバンベースの条件付きサンプラーを使用して、ユークリッドおよび球面コドメインを使用して複雑なスカラー場およびベクトル場を合成および現実世界の気象データに適合させるモデルのスケーラビリティと容量を実証します。

要約(オリジナル)

Denoising diffusion models have proven to be a flexible and effective paradigm for generative modelling. Their recent extension to infinite dimensional Euclidean spaces has allowed for the modelling of stochastic processes. However, many problems in the natural sciences incorporate symmetries and involve data living in non-Euclidean spaces. In this work, we extend the framework of diffusion models to incorporate a series of geometric priors in infinite-dimension modelling. We do so by a) constructing a noising process which admits, as limiting distribution, a geometric Gaussian process that transforms under the symmetry group of interest, and b) approximating the score with a neural network that is equivariant w.r.t. this group. We show that with these conditions, the generative functional model admits the same symmetry. We demonstrate scalability and capacity of the model, using a novel Langevin-based conditional sampler, to fit complex scalar and vector fields, with Euclidean and spherical codomain, on synthetic and real-world weather data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google