Using Model-Based Trees with Boosting to Fit Low-Order Functional ANOVA Models

要約

低次関数型 ANOVA (fANOVA) モデルは、本質的に解釈可能な機械学習を装って、機械学習 (ML) コミュニティで再発見されました。
Explainable Boosting Machines または EBM (Lou et al. 2013) と GAMI-Net (Yang et al. 2021) は、関数主効果と二次相互作用を適合させるために最近提案された 2 つの ML アルゴリズムです。
GAMI-Tree と呼ばれる新しいアルゴリズムを提案します。これは EBM に似ていますが、パフォーマンスの向上につながる多くの機能を備えています。
モデルベースのツリーを基本学習器として使用し、基礎となる相互作用のキャプチャに優れた新しい相互作用フィルタリング方法を組み込みます。
さらに、反復トレーニング法は、より優れた予測性能を持つモデルに収束し、組み込みの精製により、相互作用が主効果に対して階層的に直交することが保証されます。
このアルゴリズムは大規模な調整を必要とせず、実装は高速で効率的です。
シミュレートされた実際のデータセットを使用して、GAMI-Tree のパフォーマンスと解釈可能性を EBM および GAMI-Net と比較します。

要約(オリジナル)

Low-order functional ANOVA (fANOVA) models have been rediscovered in the machine learning (ML) community under the guise of inherently interpretable machine learning. Explainable Boosting Machines or EBM (Lou et al. 2013) and GAMI-Net (Yang et al. 2021) are two recently proposed ML algorithms for fitting functional main effects and second-order interactions. We propose a new algorithm, called GAMI-Tree, that is similar to EBM, but has a number of features that lead to better performance. It uses model-based trees as base learners and incorporates a new interaction filtering method that is better at capturing the underlying interactions. In addition, our iterative training method converges to a model with better predictive performance, and the embedded purification ensures that interactions are hierarchically orthogonal to main effects. The algorithm does not need extensive tuning, and our implementation is fast and efficient. We use simulated and real datasets to compare the performance and interpretability of GAMI-Tree with EBM and GAMI-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google