On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows

要約

フローを正常化する表現力を理解するための新しい理論的枠組みを提示します。
科学的応用の普及にもかかわらず、フローの包括的な理解は、それらの制限されたアーキテクチャのためにとらえどころのないままです。
既存の定理は、任意の条件付けされたニューラルネットワークを使用する必要があるため、不足しています。
RealNVPなどの適切に調整されたカップリングベースの正規化フローの分布普遍性定理を提案します。
さらに、ボリューム圧力の正規化フローは普遍的ではなく、代わりに学習する分布、および表現力を修正する方法を示します。
我々の結果は、アフィンと関連する結合が表現力があり、一般的に体積存在の流れを上回るという一般的な知恵を支持し、経験的結果と理論的理解の間のギャップを埋めます。

要約(オリジナル)

We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google