On the Universality of Coupling-based Normalizing Flows

要約

フローの正規化の表現力を理解するための新しい理論的枠組みを紹介します。
科学用途ではフローが広く普及しているにもかかわらず、フローのアーキテクチャが制限されているため、フローを包括的に理解することは依然として困難です。
既存の定理は、任意に条件の悪いニューラル ネットワークを使用する必要があるため不十分であり、実際の適用性が制限されています。
RealNVP のような条件の良い結合ベースの正規化フローに対する分布普遍性定理を提案します。
さらに、ボリュームを維持する正規化フローは普遍的ではないこと、代わりにどのような分布を学習するか、およびその表現力を修正する方法を示します。
私たちの結果は、アフィンおよび関連カップリングが表現力豊かで、一般に体積保存フローよりも優れたパフォーマンスを示し、経験的結果と理論的理解の間のギャップを埋めるという一般通念を裏付けています。

要約(オリジナル)

We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google