Mitigating mode collapse in normalizing flows by annealing with an adaptive schedule: Application to parameter estimation

要約

正規化フロー（NFS）は、複雑な分布から相関していないサンプルを提供し、パラメーター推定のための魅力的なツールになります。
ただし、NFSの実用的な有用性は、マルチモーダル分布の単一モードに崩壊する傾向によって制限されたままです。
この研究では、効果的なサンプルサイズ（ESS）に基づいた適応スケジュールを使用したアニーリングがモード崩壊を緩和できることを示しています。
私たちのアプローチは、広く使用されているアンサンブルマルコフチェーンモンテカルロ（MCMC）メソッドよりも10倍の計算時間で時系列データに適合する生化学オシレータモデルの周辺尤度を収束させることができることを実証します。
ESSは、サンプルを剪定することで分散を減らすためにも使用できることを示します。
これらの開発は、NFSとのサンプリングに一般的に使用され、さらなる改善のための潜在的な機会を議論することを期待しています。

要約(オリジナル)

Normalizing flows (NFs) provide uncorrelated samples from complex distributions, making them an appealing tool for parameter estimation. However, the practical utility of NFs remains limited by their tendency to collapse to a single mode of a multimodal distribution. In this study, we show that annealing with an adaptive schedule based on the effective sample size (ESS) can mitigate mode collapse. We demonstrate that our approach can converge the marginal likelihood for a biochemical oscillator model fit to time-series data in ten-fold less computation time than a widely used ensemble Markov chain Monte Carlo (MCMC) method. We show that the ESS can also be used to reduce variance by pruning the samples. We expect these developments to be of general use for sampling with NFs and discuss potential opportunities for further improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google