Hamiltonian Monte Carlo Inference of Marginalized Linear Mixed-Effects Models

要約

線形混合効果モデル (LMM) でのベイズ推論は困難であり、多くの場合、マルコフ連鎖モンテカルロ (MCMC) のような高度なサンプリング手法が必要です。
一般的なアプローチは、確率的プログラミング言語でモデルを作成し、ハミルトニアン モンテカルロ (HMC) を介してサンプリングすることです。
ただし、ユーザーが推論を多かれ少なかれ効率的にするモデルを変換できる方法は数多くあります。
特に、一部の変数を周辺化すると推論が大幅に向上しますが、ユーザーが手動で行うのは困難です。
LMM における変量効果を簡単に周辺化するアルゴリズムを開発します。
素朴なアプローチでは、HMC のような推論アルゴリズム内に 3 次時間演算が導入されますが、高速線形代数手法を使用して実行時間を線形に短縮します。
私たちは、疎外化が適用可能な場合には常に有益であることを示し、さまざまなモデル、特に認知科学によるモデルの改善を強調します。

要約(オリジナル)

Bayesian reasoning in linear mixed-effects models (LMMs) is challenging and often requires advanced sampling techniques like Markov chain Monte Carlo (MCMC). A common approach is to write the model in a probabilistic programming language and then sample via Hamiltonian Monte Carlo (HMC). However, there are many ways a user can transform a model that make inference more or less efficient. In particular, marginalizing some variables can greatly improve inference but is difficult for users to do manually. We develop an algorithm to easily marginalize random effects in LMMs. A naive approach introduces cubic time operations within an inference algorithm like HMC, but we reduce the running time to linear using fast linear algebra techniques. We show that marginalization is always beneficial when applicable and highlight improvements in various models, especially ones from cognitive sciences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google