Dynamical Measure Transport and Neural PDE Solvers for Sampling

要約

確率密度からサンプリングするタスクは、動的測定トランスポートとして知られる、扱いやすい密度関数をターゲットにトランスポートすることとしてアプローチできます。
この研究では、偏微分方程式 (PDE) によって記述される決定論的または確率的進化を使用する、原則に基づいた統一フレームワークを通じてこの問題に取り組みます。
このフレームワークには、時間反転の概念に依存せずに、拡散モデルやシュレディンガー ブリッジなどの従来の軌跡ベースのサンプリング手法が組み込まれています。
さらに、これにより、輸送タスクを解決し、正規化定数やデータ サンプルを必要とせずに複雑なターゲットからサンプリングするための新しい数値的手法を提案することができます。
物理情報に基づいたニューラル ネットワーク (PINN) を使用してそれぞれの PDE 解を近似し、概念的な利点と計算上の利点の両方を示唆しています。
特に、PINN はシミュレーションや離散化を必要としない最適化を可能にし、非常に効率的にトレーニングできるため、代替手法と比較してサンプリング タスクのモード カバレッジが大幅に向上します。
さらに、ガウス・ニュートン法を使用して簡単に微調整して、サンプリングの高精度を実現できます。

要約(オリジナル)

The task of sampling from a probability density can be approached as transporting a tractable density function to the target, known as dynamical measure transport. In this work, we tackle it through a principled unified framework using deterministic or stochastic evolutions described by partial differential equations (PDEs). This framework incorporates prior trajectory-based sampling methods, such as diffusion models or Schr\’odinger bridges, without relying on the concept of time-reversals. Moreover, it allows us to propose novel numerical methods for solving the transport task and thus sampling from complicated targets without the need for the normalization constant or data samples. We employ physics-informed neural networks (PINNs) to approximate the respective PDE solutions, implying both conceptional and computational advantages. In particular, PINNs allow for simulation- and discretization-free optimization and can be trained very efficiently, leading to significantly better mode coverage in the sampling task compared to alternative methods. Moreover, they can readily be fine-tuned with Gauss-Newton methods to achieve high accuracy in sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google