Accounting for shared covariates in semi-parametric Bayesian additive regression trees

要約

ベイジアン加法回帰ツリー (BART) に基づいたセミパラメトリック モデルへの拡張をいくつか提案します。
セミパラメトリック BART パラダイムでは、応答変数は線形予測子と BART モデルによって近似されます。線形成分は主効果の推定を担当し、BART は指定されていない交互作用と非線形性を考慮します。
BART に基づく以前のセミパラメトリック モデルは、不十分なカバレッジ特性を回避し、線形予測器のパラメーターの推定値の偏りを軽減するために、線形予測器と BART モデルの共変量のセットが相互に排他的であると仮定していました。
私たちのアプローチの主な目新しさは、たとえ共通の共変量がある場合でも、このバイアスに対処し、パラメトリック成分とノンパラメトリック成分の間の非識別性の問題を解決するために、BART のツリ​​ー生成の動きを変更する方法にあります。
これにより、主要な関心のある共変量を含む複雑な相互作用を、共変量相互間および BART コンポーネント内の共変量との両方でモデル化することができます。
私たちの新しい方法は、国際的な教育評価からのデータを分析することを目的として開発されました。数学における生徒の成績の特定の予測因子は、解釈上特に興味深いものです。
追加のシミュレーション研究とよく知られたベンチマーク データセットへの別のアプリケーションを通じて、回帰モデル、セミパラメトリック BART の代替定式化、およびその他のツリーベースの手法と比較した場合に、競合するパフォーマンスも示しています。
提案されたメソッドの実装は \url{https://github.com/ebprado/CSP-BART} で入手できます。

要約(オリジナル)

We propose some extensions to semi-parametric models based on Bayesian additive regression trees (BART). In the semi-parametric BART paradigm, the response variable is approximated by a linear predictor and a BART model, where the linear component is responsible for estimating the main effects and BART accounts for non-specified interactions and non-linearities. Previous semi-parametric models based on BART have assumed that the set of covariates in the linear predictor and the BART model are mutually exclusive in an attempt to avoid poor coverage properties and reduce bias in the estimates of the parameters in the linear predictor. The main novelty in our approach lies in the way we change the tree-generation moves in BART to deal with this bias and resolve non-identifiability issues between the parametric and non-parametric components, even when they have covariates in common. This allows us to model complex interactions involving the covariates of primary interest, both among themselves and with those in the BART component. Our novel method is developed with a view to analysing data from an international education assessment, where certain predictors of students’ achievements in mathematics are of particular interpretational interest. Through additional simulation studies and another application to a well-known benchmark dataset, we also show competitive performance when compared to regression models, alternative formulations of semi-parametric BART, and other tree-based methods. The implementation of the proposed method is available at \url{https://github.com/ebprado/CSP-BART}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google