Variations and Relaxations of Normalizing Flows

要約

正規化フロー (NF) は、複雑なターゲット分布を、より単純な基本分布に対する一連の全単射変換の構成として表現するモデルのクラスを記述します。
候補変換の空間を微分同相写像に制限することにより、NF は効率的で正確なサンプリングと密度評価を享受し、NF が識別モデルと生成モデルの両方として柔軟に動作できるようになります。
ただし、微分同相写像への制限により、入力、出力、およびすべての中間空間が同じ次元を共有することが強制され、複雑なトポロジーでターゲット分布を効果的に表現する能力が制限されます。
さらに、事前分布とターゲット分布が同型ではない場合、フローの正規化によりターゲットのサポートの外側に質量が漏れる可能性があります。
この調査では、VAE やスコアベースの拡散など、他の生成モデル クラスの側面を組み合わせた最近の研究の一部を取り上げています。そうすることで、NF の厳密な全単射制約を緩和して、表現力、トレーニング速度、サンプル効率、および
可能性の高い扱いやすさ。

要約(オリジナル)

Normalizing Flows (NFs) describe a class of models that express a complex target distribution as the composition of a series of bijective transformations over a simpler base distribution. By limiting the space of candidate transformations to diffeomorphisms, NFs enjoy efficient, exact sampling and density evaluation, enabling NFs to flexibly behave as both discriminative and generative models. Their restriction to diffeomorphisms, however, enforces that input, output and all intermediary spaces share the same dimension, limiting their ability to effectively represent target distributions with complex topologies. Additionally, in cases where the prior and target distributions are not homeomorphic, Normalizing Flows can leak mass outside of the support of the target. This survey covers a selection of recent works that combine aspects of other generative model classes, such as VAEs and score-based diffusion, and in doing so loosen the strict bijectivity constraints of NFs to achieve a balance of expressivity, training speed, sample efficiency and likelihood tractability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google