SoftCVI: contrastive variational inference with self-generated soft labels

要約

正規化されていない密度にアクセスできる分布を推定することは、ベイズ推論において極めて重要です。ベイズ推論では、事後分布は一般に未知の正規化定数までしかわかりません。
変分推論とマルコフ連鎖モンテカルロ法は、このタスクの主なツールです。
ただし、どちらの方法も、特に後部の形状が複雑な場合、確実に適用するのが困難なことがよくあります。
ここでは、ソフト コントラスト変分推論 (SoftCVI) を紹介します。これにより、対比推定フレームワークを通じて変分目的のファミリーを導出できるようになります。
これらの目的では、変分近似が正確である場合、特殊な勾配推定器を必要とせずに分散勾配がゼロになります。
このアプローチには、変分分布の観点から分類器をパラメータ化することが含まれます。これにより、推論タスクを対照推定問題として再構成できるようになり、サンプルのセットの中から単一の真の事後サンプルを識別することを目的とします。
このフレーミングにもかかわらず、正または負のサンプルは必要ありません。むしろ、変分分布をサンプリングし、正規化されていない事後自体からグラウンド トゥルースのソフト分類ラベルを計算することによって学習します。
私たちは、単純な (正規分布など) 変分分布と表現力豊かな (フローを正規化する) 変分分布の両方を使用して、さまざまなベイジアン推論タスクのパフォーマンスを経験的に調査します。
SoftCVI 目標は、一般的に使用される他の変分目標よりも優れていることが多いことがわかりました。

要約(オリジナル)

Estimating a distribution given access to its unnormalized density is pivotal in Bayesian inference, where the posterior is generally known only up to an unknown normalizing constant. Variational inference and Markov chain Monte Carlo methods are the predominant tools for this task; however, both methods are often challenging to apply reliably, particularly when the posterior has complex geometry. Here, we introduce Soft Contrastive Variational Inference (SoftCVI), which allows a family of variational objectives to be derived through a contrastive estimation framework. These objectives have zero variance gradient when the variational approximation is exact, without the need for specialized gradient estimators. The approach involves parameterizing a classifier in terms of the variational distribution, which allows the inference task to be reframed as a contrastive estimation problem, aiming to identify a single true posterior sample among a set of samples. Despite this framing, we do not require positive or negative samples, but rather learn by sampling the variational distribution and computing ground truth soft classification labels from the unnormalized posterior itself. We empirically investigate the performance on a variety of Bayesian inference tasks, using both using both simple (e.g. normal) and expressive (normalizing flow) variational distributions. We find that SoftCVI objectives often outperform other commonly used variational objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google