Generative modeling of time-dependent densities via optimal transport and projection pursuit

要約

時間密度の生成モデリングのための一般的な深層学習アルゴリズムによって引き起こされる計算上の困難を動機として、最小限のハイパーパラメータ調整を必要とし、高次元の問題に有利にスケールできる安価な代替案を提案します。
特に、投影ベースの最適輸送ソルバー [Meng et al., 2019] を使用して連続サンプルを結合し、続いて輸送スプライン [Chewi et al., 2020] を使用して進化する密度を補間します。
サンプリング周波数が十分に高い場合、最適なマップは恒等式に近いため、計算効率が高くなります。
さらに、すべての最適なマップが独立しており、同時に学習できるため、トレーニング プロセスは高度に並列化できます。
最後に、このアプローチは非凸目的関数を最小化するのではなく、数値線形代数のみに基づいているため、アルゴリズムの分析と制御が容易になります。
私たちは、合成データセットと現実世界のデータセットの両方でいくつかの数値実験を行い、私たちの方法の効率を実証します。
特に、これらの実験は、提案されたアプローチが、広範囲の次元にわたって時間通りに条件付けされた最先端の正規化フローと比較して、非常に競争力があることを示しています。

要約(オリジナル)

Motivated by the computational difficulties incurred by popular deep learning algorithms for the generative modeling of temporal densities, we propose a cheap alternative which requires minimal hyperparameter tuning and scales favorably to high dimensional problems. In particular, we use a projection-based optimal transport solver [Meng et al., 2019] to join successive samples and subsequently use transport splines [Chewi et al., 2020] to interpolate the evolving density. When the sampling frequency is sufficiently high, the optimal maps are close to the identity and are thus computationally efficient to compute. Moreover, the training process is highly parallelizable as all optimal maps are independent and can thus be learned simultaneously. Finally, the approach is based solely on numerical linear algebra rather than minimizing a nonconvex objective function, allowing us to easily analyze and control the algorithm. We present several numerical experiments on both synthetic and real-world datasets to demonstrate the efficiency of our method. In particular, these experiments show that the proposed approach is highly competitive compared with state-of-the-art normalizing flows conditioned on time across a wide range of dimensionalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google