Invertible normalizing flow neural networks by JKO scheme

要約

フローの正規化は、効率的なサンプリングと密度推定のための深い生成モデルのクラスです。
実際には、フローは反転可能なニューラル ネットワーク ブロックのチェーンとして現れることがよくあります。
トレーニングを容易にするために、既存の作品には正規化された流れの軌跡があり、特別なネットワーク アーキテクチャが設計されています。
今回の論文では、Jordan-Kinderleherer-Otto (JKO) スキームにヒントを得たニューラル ODE フロー ネットワークを開発します。これにより、SDE 軌跡やスコア マッチングや変分学習の内部ループをサンプリングすることなく、残差ブロックの効率的なブロック単位のトレーニングが可能になります。
JKO スキームが勾配フローのダイナミクスを展開するにつれて、提案されたモデルは残差ネットワーク ブロックを 1 つずつ自然にスタックし、メモリ負荷とエンドツーエンドのディープ フロー ネットワーク トレーニングの実行の困難さを軽減します。
また、確率空間での軌道を段階的に改良するフロー ネットワークの適応時間再パラメータ化も開発します。これにより、実際のモデル トレーニングの効率と精度が向上します。
合成データと実際のデータを使用した数値実験を使用して、提案された JKO-iFlow モデルが、大幅に削減された計算コストとメモリコストで、既存の流れモデルと拡散モデルと比較して、新しいサンプルの生成において同等以上のパフォーマンスを達成することを示します。

要約(オリジナル)

Normalizing flow is a class of deep generative models for efficient sampling and density estimation. In practice, the flow often appears as a chain of invertible neural network blocks; to facilitate training, existing works have regularized flow trajectories and designed special network architectures. The current paper develops a neural ODE flow network inspired by the Jordan-Kinderleherer-Otto (JKO) scheme, which allows efficient block-wise training of the residual blocks without sampling SDE trajectories or inner loops of score matching or variational learning. As the JKO scheme unfolds the dynamic of gradient flow, the proposed model naturally stacks residual network blocks one by one, reducing the memory load and difficulty in performing end-to-end deep flow network training. We also develop adaptive time reparameterization of the flow network with a progressive refinement of the trajectory in probability space, which improves the model training efficiency and accuracy in practice. Using numerical experiments with synthetic and real data, we show that the proposed JKO-iFlow model achieves similar or better performance in generating new samples compared with the existing flow and diffusion models at a significantly reduced computational and memory cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google