AUTM Flow: Atomic Unrestricted Time Machine for Monotonic Normalizing Flows

要約

非線形単調変換は、フローの正規化で広く使用され、単純な分布から複雑な分布への反転可能な三角形のマッピングを構築します。
既存の文献では、単調性は通常、関数クラスまたはモデルパラメータを制限することによって強制され、逆変換は、閉じた形式の逆関数が利用できないため、求根アルゴリズムによって近似されることがよくあります。
この論文では、「Atomic Unrestricted Time Machine（AUTM）」と呼ばれる新しい積分ベースのアプローチを紹介します。これは、無制限の被積分関数と計算しやすい明示的な逆関数を備えています。
AUTMは、明示的な逆関数クラスまたはパラメーターを使用してフローを正規化するための、用途が広く効率的な方法を提供します。
理論的には、AUTMが普遍的であるという構成的証明を提示します。すべての単調な正規化フローは、AUTMフローの限界と見なすことができます。
収束が保証されたAUTMフローを使用して、任意の単調正規化フローを近似する方法を示す具体的な例を示します。
この結果は、AUTMを使用して、既存のフローを、明示的な逆パラメーターと無制限のパラメーターを備えた新しいフローに変換できることを意味します。
新しいアプローチのパフォーマンスは、高次元密度推定、変分推論、および画像生成で評価されます。
実験は、AUTMの優れた速度とメモリ効率を示しています。

要約(オリジナル)

Nonlinear monotone transformations are used extensively in normalizing flows to construct invertible triangular mappings from simple distributions to complex ones. In existing literature, monotonicity is usually enforced by restricting function classes or model parameters and the inverse transformation is often approximated by root-finding algorithms as a closed-form inverse is unavailable. In this paper, we introduce a new integral-based approach termed ‘Atomic Unrestricted Time Machine (AUTM)’, equipped with unrestricted integrands and easy-to-compute explicit inverse. AUTM offers a versatile and efficient way to the design of normalizing flows with explicit inverse and unrestricted function classes or parameters. Theoretically, we present a constructive proof that AUTM is universal: all monotonic normalizing flows can be viewed as limits of AUTM flows. We provide a concrete example to show how to approximate any given monotonic normalizing flow using AUTM flows with guaranteed convergence. The result implies that AUTM can be used to transform an existing flow into a new one equipped with explicit inverse and unrestricted parameters. The performance of the new approach is evaluated on high dimensional density estimation, variational inference and image generation. Experiments demonstrate superior speed and memory efficiency of AUTM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google