Kernelized Normalizing Flows

要約

正規化フローは、可逆アーキテクチャを特徴とする生成モデルです。
ただし、可逆性の要件により表現力に制約が課され、満足のいく結果を達成するには、多数のパラメータと革新的なアーキテクチャ設計が必要になります。
フローベースのモデルは表現力豊かなデザインのために主にニューラル ネットワーク ベースの変換に依存していますが、代替の変換方法はあまり注目されていません。
この研究では、カーネルをフレームワークに統合する新しいカーネル化正規化フロー パラダイムである Ferumal フローを紹介します。
私たちの結果は、カーネル化されたフローがパラメーターの効率を維持しながら、ニューラル ネットワーク ベースのフローと比較して競合する、または優れた結果を生み出すことができることを示しています。
カーネル化されたフローは、特に低データ領域で優れており、可用性データがまばらなアプリケーションで柔軟なノンパラメトリック密度推定を可能にします。

要約(オリジナル)

Normalising Flows are generative models characterised by their invertible architecture. However, the requirement of invertibility imposes constraints on their expressiveness, necessitating a large number of parameters and innovative architectural designs to achieve satisfactory outcomes. Whilst flow-based models predominantly rely on neural-network-based transformations for expressive designs, alternative transformation methods have received limited attention. In this work, we present Ferumal flow, a novel kernelised normalising flow paradigm that integrates kernels into the framework. Our results demonstrate that a kernelised flow can yield competitive or superior results compared to neural network-based flows whilst maintaining parameter efficiency. Kernelised flows excel especially in the low-data regime, enabling flexible non-parametric density estimation in applications with sparse data availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google