Generative Modeling of Time-Dependent Densities via Optimal Transport and Projection Pursuit

要約

タイトル：
最適輸送と投影追跡による時依存密度の生成モデリング

要約：
– ニューラルネットワークの深層学習のアルゴリズムを使う方法で発生する問題に着想を得て、高次元の問題に対してスケーリング性が高く、ハイパーパラメータの調整が最小限で済む手法を提案する。
– 特に、投影ベースの最適輸送ソルバーを使用して、連続するサンプルを結合し、進化する密度を補間するために移動スプラインを使う。
– サンプリング頻度が十分に高い場合、最適マップは同一性に近く、計算効率が高くなる。
– トレーニングプロセスは非常に並列化されており、すべての最適マップは独立して学習できるため、並行して学習が可能である。
– 最適化目標関数を最小化することではなく、数値線形代数に基づくアプローチであるため、アルゴリズムを容易に分析および制御することができる。
– 人工的なものから実世界のデータセットまで、数値実験を複数実施し、提案手法の効率性を証明する。
– 特に、より高次元で比較した場合、時間に応じた正規化フローの最新技術と比較して、提案手法は非常に競争力があることが示された。

要約(オリジナル)

Motivated by the computational difficulties incurred by popular deep learning algorithms for the generative modeling of temporal densities, we propose a cheap alternative which requires minimal hyperparameter tuning and scales favorably to high dimensional problems. In particular, we use a projection-based optimal transport solver [Meng et al., 2019] to join successive samples and subsequently use transport splines [Chewi et al., 2020] to interpolate the evolving density. When the sampling frequency is sufficiently high, the optimal maps are close to the identity and are thus computationally efficient to compute. Moreover, the training process is highly parallelizable as all optimal maps are independent and can thus be learned simultaneously. Finally, the approach is based solely on numerical linear algebra rather than minimizing a nonconvex objective function, allowing us to easily analyze and control the algorithm. We present several numerical experiments on both synthetic and real-world datasets to demonstrate the efficiency of our method. In particular, these experiments show that the proposed approach is highly competitive compared with state-of-the-art normalizing flows conditioned on time across a wide range of dimensionalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI