Learning diffusion at lightspeed

要約

拡散は、数多くの自然プロセスと、成功した多くの生成モデルのダイナミクスを制御します。
観測データから拡散項を学習する既存のモデルは、複雑なバイレベル最適化問題に依存しており、システムのドリフトのみをモデル化しています。
我々は、既存のアーキテクチャの複雑さを回避しながら、大幅に強化された表現機能を提供する、新しいシンプルなモデル JKOnet* を提案します。 JKOnet* は、基礎となる拡散プロセスのポテンシャル、相互作用、内部エネルギー成分を回復します。
JKOnet* は、単純な 2 次損失を最小限に抑え、サンプル効率、計算の複雑さ、精度の点で他のベースラインよりも優れています。
さらに、JKOnet* は、線形パラメータ化汎関数に対する閉形式の最適なソリューションを提供し、実世界のデータから細胞プロセスの進化を予測するために適用すると、数分の一の計算コストで最先端の精度を実現します。
既存のすべてのメソッドの。
私たちの方法論は、いわゆる JKO スキームを介した確率空間におけるエネルギー最小化軌道としての拡散プロセスの解釈に基づいており、これを一次最適条件を介して研究します。

要約(オリジナル)

Diffusion regulates numerous natural processes and the dynamics of many successful generative models. Existing models to learn the diffusion terms from observational data rely on complex bilevel optimization problems and model only the drift of the system. We propose a new simple model, JKOnet*, which bypasses the complexity of existing architectures while presenting significantly enhanced representational capabilities: JKOnet* recovers the potential, interaction, and internal energy components of the underlying diffusion process. JKOnet* minimizes a simple quadratic loss and outperforms other baselines in terms of sample efficiency, computational complexity, and accuracy. Additionally, JKOnet* provides a closed-form optimal solution for linearly parametrized functionals, and, when applied to predict the evolution of cellular processes from real-world data, it achieves state-of-the-art accuracy at a fraction of the computational cost of all existing methods. Our methodology is based on the interpretation of diffusion processes as energy-minimizing trajectories in the probability space via the so-called JKO scheme, which we study via its first-order optimality conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google