Stable Training of Normalizing Flows for High-dimensional Variational Inference

要約

正規化フロー (NF) を使用した変分推論は、MCMC 法の代替としてますます人気が高まっています。
特に、結合層に基づく NF (Real NVP) は、経験的に優れたパフォーマンスを発揮するため、頻繁に使用されます。
理論的には、正規化フローの深さを増やすと、より正確な事後近似が得られるはずです。
ただし、実際には、確率的勾配の分散が大きいため、高次元の事後分布を近似するための深い正規化フローをトレーニングすることは、多くの場合実行不可能です。
この研究では、確率的勾配降下の分散を安定させるための以前の方法では、Real NVP の安定したトレーニングを達成するには不十分である可能性があることを示します。
問題の原因として、トレーニング中にサンプルが異常に高い値を示すことが多いことがわかりました。
解決策として、(1) Real NVP のスケールのソフトしきい値処理、および (2) サンプルの全単射ソフト対数変換の 2 つの方法の組み合わせを提案します。
我々は、高次元の馬蹄形ロジスティック回帰モデルを含む、いくつかの困難なターゲット分布に対して、これらおよび他の以前に提案された修正を評価します。
私たちの実験は、私たちの修正により、数千次元の事後の実NVPの安定したトレーニングが可能であり、重要度サンプリングによるより正確な周辺尤度推定が可能であることを示しています。
さらに、いくつかの一般的なトレーニング手法とアーキテクチャの選択を評価し、高次元変分推論用の NF をトレーニングするための実践的なアドバイスを提供します。

要約(オリジナル)

Variational inference with normalizing flows (NFs) is an increasingly popular alternative to MCMC methods. In particular, NFs based on coupling layers (Real NVPs) are frequently used due to their good empirical performance. In theory, increasing the depth of normalizing flows should lead to more accurate posterior approximations. However, in practice, training deep normalizing flows for approximating high-dimensional posterior distributions is often infeasible due to the high variance of the stochastic gradients. In this work, we show that previous methods for stabilizing the variance of stochastic gradient descent can be insufficient to achieve stable training of Real NVPs. As the source of the problem, we identify that, during training, samples often exhibit unusual high values. As a remedy, we propose a combination of two methods: (1) soft-thresholding of the scale in Real NVPs, and (2) a bijective soft log transformation of the samples. We evaluate these and other previously proposed modification on several challenging target distributions, including a high-dimensional horseshoe logistic regression model. Our experiments show that with our modifications, stable training of Real NVPs for posteriors with several thousand dimensions is possible, allowing for more accurate marginal likelihood estimation via importance sampling. Moreover, we evaluate several common training techniques and architecture choices and provide practical advise for training NFs for high-dimensional variational inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google