Scalable Computations for Generalized Mixed Effects Models with Crossed Random Effects Using Krylov Subspace Methods

要約

混合エフェクトモデルは、階層的にグループ化された構造と高等循環性カテゴリー予測変数を使用したデータのモデリングに広く使用されています。
ただし、高次元の交差ランダム効果の場合、胆汁の分解に依存する現在の標準計算は法外に遅くなる可能性があります。
この作業では、いくつかの既存の計算ボトルネックに対処する新しいKrylovサブスペースベースの方法を提示します。
とりわけ、コンジュゲート勾配および確率的ランツォの直交法のさまざまな前処理者を理論的に分析および経験的に評価し、新しい収束結果を導き出し、予測的変異を計算するための計算効率的な方法を開発します。
シミュレートされた現実世界のデータセットを使用した広範な実験では、提案された方法は、コレスキーベースの計算よりもはるかに優れていることを示しています。たとえば、推定と予測の両方で約2桁のマグニチュードのランタイム削減を達成します。
さらに、当社のソフトウェアの実装は、デフォルト設定を使用する場合、LME4やGLMMTMBなどの最先端の実装よりも最大10’000倍高速で安定しています。
当社の方法は、高レベルのPythonおよびRパッケージを備えた無料のC ++ソフトウェアライブラリGPBoostに実装されています。

要約(オリジナル)

Mixed effects models are widely used for modeling data with hierarchically grouped structures and high-cardinality categorical predictor variables. However, for high-dimensional crossed random effects, current standard computations relying on Cholesky decompositions can become prohibitively slow. In this work, we present novel Krylov subspace-based methods that address several existing computational bottlenecks. Among other things, we theoretically analyze and empirically evaluate various preconditioners for the conjugate gradient and stochastic Lanczos quadrature methods, derive new convergence results, and develop computationally efficient methods for calculating predictive variances. Extensive experiments using simulated and real-world data sets show that our proposed methods scale much better than Cholesky-based computations, for instance, achieving a runtime reduction of approximately two orders of magnitudes for both estimation and prediction. Moreover, our software implementation is up to 10’000 times faster and more stable than state-of-the-art implementations such as lme4 and glmmTMB when using default settings. Our methods are implemented in the free C++ software library GPBoost with high-level Python and R packages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google