On the Universality of Coupling-based Normalizing Flows

要約

RealNVP などの結合ベースの正規化フローの表現力を理解するための新しい理論的フレームワークを紹介します。
科学的用途ではカップリング フローが普及しているにもかかわらず、アーキテクチャが制限されているため、カップリング フローを包括的に理解することは依然として困難です。
既存の定理は、任意に条件の悪いニューラル ネットワークを使用する必要があるため不十分であり、実際の適用性が制限されています。
さらに、これらの構造が本質的にボリュームを保持するフローにつながり、この特性が表現力の基本的な制約となることを示します。
我々は、結合ベースの正規化フローに対する新しい分布普遍性定理を提案します。これは、従来の研究のいくつかの制限を克服します。
私たちの結果は、カップリング アーキテクチャには表現力があるという一般通念を裏付けており、カップリング関数の表現力を選択するための微妙な見方を提供し、経験的結果と理論的理解の間のギャップを埋めることができます。

要約(オリジナル)

We present a novel theoretical framework for understanding the expressive power of coupling-based normalizing flows such as RealNVP. Despite their prevalence in scientific applications, a comprehensive understanding of coupling flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. Additionally, we demonstrate that these constructions inherently lead to volume-preserving flows, a property which we show to be a fundamental constraint for expressivity. We propose a new distributional universality theorem for coupling-based normalizing flows, which overcomes several limitations of prior work. Our results support the general wisdom that the coupling architecture is expressive and provide a nuanced view for choosing the expressivity of coupling functions, bridging a gap between empirical results and theoretical understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google