Q-malizing flow and infinitesimal density ratio estimation

要約

連続正規化フローは、フロー ネットワークがデータ分布 $P$ から正規分布に移送する生成タスクで広く使用されています。
$P$ から任意の $Q$ に輸送できる流れモデル (有限サンプルを介して $P$ と $Q$ の両方にアクセスできる) は、特に最近開発された伸縮密度比推定 (DRE) において、さまざまな用途に役立ちます。
) これは、$P$ と $Q$ の間を埋める中間密度の構築を必要とします。
この研究では、経験的サンプルから $P$ から $Q$ (またはその逆) に可逆的に輸送するように訓練され、
輸送費。
訓練された流れモデルでは、$\log$-density の時間偏導関数を推定する分類損失を使用して追加の連続時間フロー ネットワークを訓練することにより、時間パラメータ化された $\log$-density に沿って無限小 DRE を実行できます。
タイムスコア ネットワークを経時的に統合することで、ワンステップ DRE よりも安定した $P$ と $Q$ の間の伸縮 DRE が提供されます。
提案モデルの有効性は、高次元データからの相互情報量推定や画像データのエネルギーベースの生成モデルにおいて実証的に実証されています。

要約(オリジナル)

Continuous normalizing flows are widely used in generative tasks, where a flow network transports from a data distribution $P$ to a normal distribution. A flow model that can transport from $P$ to an arbitrary $Q$, where both $P$ and $Q$ are accessible via finite samples, would be of various application interests, particularly in the recently developed telescoping density ratio estimation (DRE) which calls for the construction of intermediate densities to bridge between $P$ and $Q$. In this work, we propose such a “Q-malizing flow” by a neural-ODE model which is trained to transport invertibly from $P$ to $Q$ (and vice versa) from empirical samples and is regularized by minimizing the transport cost. The trained flow model allows us to perform infinitesimal DRE along the time-parametrized $\log$-density by training an additional continuous-time flow network using classification loss, which estimates the time-partial derivative of the $\log$-density. Integrating the time-score network along time provides a telescopic DRE between $P$ and $Q$ that is more stable than a one-step DRE. The effectiveness of the proposed model is empirically demonstrated on mutual information estimation from high-dimensional data and energy-based generative models of image data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google