Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison

要約

Evidence Networks は、最先端の手法 (例: ネストされたサンプリング) が失敗した場合や、尤度や事前確率が扱いにくい場合や不明な場合でも、ベイジアン モデルの比較を可能にします。
ベイジアン モデルの比較、つまりベイズ係数または証拠比の計算は、最適化問題としてキャストできます。
最適分類のベイズ解釈はよく知られていますが、ここでは視点を変えて、ベイズ因子の便利な関数を直接推定する高速で償却されたニューラル推定器をもたらす損失関数のクラスを示します。
これにより、個々のモデルの確率の推定に伴う数値の不正確さが軽減されます。
漏洩パリティ奇乗 (l-POP) 変換を導入し、新しい「l-POP-指数関数」損失関数を導き出します。
さまざまなモデルでデータ確率のニューラル密度推定を調査し、それがエビデンス ネットワークよりも精度とスケーラビリティに劣ることを示します。
複数の実世界および合成の例は、証拠ネットワークがパラメーター空間の次元に明示的に依存せず、事後確率密度関数の複雑さに合わせて緩やかにスケールすることを示しています。
このシンプルかつ強力なアプローチは、モデル推論タスクに広範な影響を及ぼします。
Evidence Networks の実世界データへの応用として、ダーク エネルギー調査の重力レンズ データを使用して 2 つのモデルのベイズ係数を計算します。
陰的推論設定におけるモデルの比較と評価の他の関連する問題への私たちの方法の適用について簡単に説明します。

要約(オリジナル)

Evidence Networks can enable Bayesian model comparison when state-of-the-art methods (e.g. nested sampling) fail and even when likelihoods or priors are intractable or unknown. Bayesian model comparison, i.e. the computation of Bayes factors or evidence ratios, can be cast as an optimization problem. Though the Bayesian interpretation of optimal classification is well-known, here we change perspective and present classes of loss functions that result in fast, amortized neural estimators that directly estimate convenient functions of the Bayes factor. This mitigates numerical inaccuracies associated with estimating individual model probabilities. We introduce the leaky parity-odd power (l-POP) transform, leading to the novel “l-POP-Exponential” loss function. We explore neural density estimation for data probability in different models, showing it to be less accurate and scalable than Evidence Networks. Multiple real-world and synthetic examples illustrate that Evidence Networks are explicitly independent of dimensionality of the parameter space and scale mildly with the complexity of the posterior probability density function. This simple yet powerful approach has broad implications for model inference tasks. As an application of Evidence Networks to real-world data we compute the Bayes factor for two models with gravitational lensing data of the Dark Energy Survey. We briefly discuss applications of our methods to other, related problems of model comparison and evaluation in implicit inference settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google