Injective flows for star-like manifolds

要約

正規化フロー (NF) は、密度推定のための強力で効率的なモデルです。
多様体上の密度をモデル化する場合、NF は射出流れに一般化できますが、ヤコビアン行列式は計算的に法外なものになります。
現在のアプローチは、対数尤度の限界を考慮するか、ヤコビアン行列式の近似に依存するかのいずれかです。
対照的に、我々は星型多様体に対する射出流れを提案し、そのような多様体に対して、NF と同じコストでヤコビアン行列式を正確かつ効率的に計算できることを示します。
この側面は、利用可能なサンプルがなく、正規化されていないターゲットのみがわかっている変分推論設定に特に関連します。
多くの中でも、星状多様体におけるモデリング密度の関連性を 2 つの設定で紹介します。
まず、ペナルティのレベルセットをスター型多様体として解釈することにより、ペナルティ付き尤度モデルに対する新しい客観ベイジアン アプローチを導入します。
第二に、確率的混合モデルを考慮し、確率単体で混合重みの事後を定義することによる変分推論の一般的な方法を導入します。

要約(オリジナル)

Normalizing Flows (NFs) are powerful and efficient models for density estimation. When modeling densities on manifolds, NFs can be generalized to injective flows but the Jacobian determinant becomes computationally prohibitive. Current approaches either consider bounds on the log-likelihood or rely on some approximations of the Jacobian determinant. In contrast, we propose injective flows for star-like manifolds and show that for such manifolds we can compute the Jacobian determinant exactly and efficiently, with the same cost as NFs. This aspect is particularly relevant for variational inference settings, where no samples are available and only some unnormalized target is known. Among many, we showcase the relevance of modeling densities on star-like manifolds in two settings. Firstly, we introduce a novel Objective Bayesian approach for penalized likelihood models by interpreting level-sets of the penalty as star-like manifolds. Secondly, we consider probabilistic mixing models and introduce a general method for variational inference by defining the posterior of mixture weights on the probability simplex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google