FlowVAT: Normalizing Flow Variational Inference with Affine-Invariant Tempering

要約

マルチモーダルおよび高次元後の事後は、変動推論に重大な課題を提示し、フローを正常化する理論的表現性にもかかわらず、モードを求める行動と崩壊を引き起こします。
従来のアニーリング方法には、温度スケジュールとハイパーパラメーターの調整が必要であり、真にブラックボックスの変動推論の目標に達していません。
これらの制限に対処するフロー変動推論を正規化するための条件付き強化アプローチであるFlowVatを紹介します。
私たちの方法は、ベース分布とターゲット分布の両方を同時に緩和し、強化の下でアフィン不変性を維持します。
温度上の正規化フローを条件付けることにより、高温の範囲を表す単一の流れをトレーニングするために、オーバーパラメーター化ニューラルネットワークの一般化機能を活用します。
これにより、$ t = 1 $で変動後の後方からサンプリングすると、より高い温度で識別されたモードが保存され、標準変動法のモードを求める動作を軽減します。
2、10、および20次元のマルチモーダル分布を使用した実験では、フローバットは従来の適応アニーリング方法よりも優れており、特に既存のアプローチが失敗する高次元では、より多くのモードを見つけ、より良いエルボ値を達成します。
私たちの方法では、最小限のハイパーパラメーターチューニングが必要であり、アニーリングスケジュールは必要ありません。複雑な事後の完全自動ブラックボックスの変動推論に向けて前進します。

要約(オリジナル)

Multi-modal and high-dimensional posteriors present significant challenges for variational inference, causing mode-seeking behavior and collapse despite the theoretical expressiveness of normalizing flows. Traditional annealing methods require temperature schedules and hyperparameter tuning, falling short of the goal of truly black-box variational inference. We introduce FlowVAT, a conditional tempering approach for normalizing flow variational inference that addresses these limitations. Our method tempers both the base and target distributions simultaneously, maintaining affine-invariance under tempering. By conditioning the normalizing flow on temperature, we leverage overparameterized neural networks’ generalization capabilities to train a single flow representing the posterior across a range of temperatures. This preserves modes identified at higher temperatures when sampling from the variational posterior at $T = 1$, mitigating standard variational methods’ mode-seeking behavior. In experiments with 2, 10, and 20 dimensional multi-modal distributions, FlowVAT outperforms traditional and adaptive annealing methods, finding more modes and achieving better ELBO values, particularly in higher dimensions where existing approaches fail. Our method requires minimal hyperparameter tuning and does not require an annealing schedule, advancing toward fully-automatic black-box variational inference for complicated posteriors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google