Latent Dynamical Implicit Diffusion Processes

要約

潜在力学モデルは、ノイズの多いデータ サンプルのシーケンスを表す潜在力学プロセスの分布を学習するために一般的に使用されます。
ただし、潜在ダイナミクスと観測ダイナミクスの複雑さと変動性により、このようなモデルから高い忠実度でサンプルを生成することは困難です。
DDPM や NCSN などの拡散ベースの生成モデルの最近の進歩により、高品質の連続サンプルを生成するための、ニューラル ODE、RNN、正規化フロー ネットワークなどの最先端の潜在生成モデルの有望な代替手段が示されています。
以前の配布物より。
ただし、潜在的な動的モデルを使用して逐次データをモデル化する際のアプリケーションはまだ調査されていません。
ここでは、潜在動的暗黙的拡散過程 (LDIDP) と呼ばれる新しい潜在変数モデルを提案します。これは、陰的拡散過程を利用して動的潜在過程からサンプリングし、それに応じて連続観測サンプルを生成します。
私たちは、合成およびシミュレートされたニューラル デコード問題について LDIDP をテストしました。
我々は、LDIDP が潜在次元にわたるダイナミクスを正確に学習できることを実証します。
さらに、陰的サンプリング法により、潜在空間と観測空間から高品質の連続データ サンプルを計算効率よく生成できます。

要約(オリジナル)

Latent dynamical models are commonly used to learn the distribution of a latent dynamical process that represents a sequence of noisy data samples. However, producing samples from such models with high fidelity is challenging due to the complexity and variability of latent and observation dynamics. Recent advances in diffusion-based generative models, such as DDPM and NCSN, have shown promising alternatives to state-of-the-art latent generative models, such as Neural ODEs, RNNs, and Normalizing flow networks, for generating high-quality sequential samples from a prior distribution. However, their application in modeling sequential data with latent dynamical models is yet to be explored. Here, we propose a novel latent variable model named latent dynamical implicit diffusion processes (LDIDPs), which utilizes implicit diffusion processes to sample from dynamical latent processes and generate sequential observation samples accordingly. We tested LDIDPs on synthetic and simulated neural decoding problems. We demonstrate that LDIDPs can accurately learn the dynamics over latent dimensions. Furthermore, the implicit sampling method allows for the computationally efficient generation of high-quality sequential data samples from the latent and observation spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google