A Deep Learning Method for Comparing Bayesian Hierarchical Models

要約

ベイジアン モデル比較 (BMC) は、競合する計算モデルの相対的な利点を評価し、不確実性をモデル選択の決定に反映するための原則に基づいたアプローチを提供します。
ただし、BMC は、高次元の入れ子になったパラメーター構造のため、一般的なクラスの階層モデルにとっては扱いにくいことがよくあります。
この扱いにくいことに対処するために、確率的プログラムとしてインスタンス化できる階層モデルの任意のセットに対して BMC を実行する深層学習手法を提案します。
私たちの方法では償却推論が可能であるため、実際のデータを適用する前に、事後モデル確率を効率的に再推定し、高速なパフォーマンス検証を行うことができます。
一連の広範な検証研究で、当社の手法のパフォーマンスを最先端のブリッジ サンプリング手法と比較してベンチマークし、すべての BMC 設定にわたって優れた償却推論を実証しました。
次に、部分的に暗黙的な尤度があるため、これまで BMC では扱いにくいと考えられていた 4 つの階層的証拠蓄積モデルを比較することによって、私たちの方法を紹介します。
このアプリケーションでは、最近提案された意思決定の L’evy 飛行モデルの証拠を裏付け、転移学習を活用してトレーニング効率を高める方法を示します。
すべての分析用に再現可能なコードとメソッドのオープンソース実装を提供します。

要約(オリジナル)

Bayesian model comparison (BMC) offers a principled approach for assessing the relative merits of competing computational models and propagating uncertainty into model selection decisions. However, BMC is often intractable for the popular class of hierarchical models due to their high-dimensional nested parameter structure. To address this intractability, we propose a deep learning method for performing BMC on any set of hierarchical models which can be instantiated as probabilistic programs. Since our method enables amortized inference, it allows efficient re-estimation of posterior model probabilities and fast performance validation prior to any real-data application. In a series of extensive validation studies, we benchmark the performance of our method against the state-of-the-art bridge sampling method and demonstrate excellent amortized inference across all BMC settings. We then showcase our method by comparing four hierarchical evidence accumulation models that have previously been deemed intractable for BMC due to partly implicit likelihoods. In this application, we corroborate evidence for the recently proposed L\’evy flight model of decision-making and show how transfer learning can be leveraged to enhance training efficiency. We provide reproducible code for all analyses and an open-source implementation of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google