Monotone Tree-Based GAMI Models by Adapting XGBoost

要約

最近の論文では、機械学習アーキテクチャを使用して、主効果と二次相互作用を備えた低次関数分散分析モデルを適合させています。
これらの GAMI (GAM + Interaction) モデルは、機能的な主効果と相互作用を簡単にプロットして視覚化できるため、直接解釈できます。
残念ながら、EBM (Lou et al. 2013) や GAMI-Lin-T (Hu et al. 2022) などのブーストツリーに基づく既存の GAMI モデルに単調性要件を組み込むのは簡単ではありません。
この論文では、$f(x)=\sum_{j,k}f_{j,k}(x_j, x_k)$ の形式のモデルを検討し、monotone GAMI-Tree と呼ばれる単調ツリーベースの GAMI モデルを開発します。
XGBoost アルゴリズム。
XGBoost のオプションを使用すると、単調モデルを $f(x)$ に当てはめるのは簡単です。
ただし、適合モデルは依然としてブラックボックスです。
私たちは別のアプローチを採用します: i) フィルター技術を使用して重要な相互作用を決定し、ii) モノトーン XGBoost アルゴリズムを選択した相互作用に適合させ、最後に iii) 結果を解析および精製してモノトーン GAMI モデルを取得します。
シミュレートされたデータセットは、mono-GAMI-Tree と EBM の動作を実証するために使用されます。どちらも区分定数フィットを使用します。
単調性の要件は完全なモデルに対するものであることに注意してください。
特定の状況では、メインエフェクトも単調になります。
ただし、例に見られるように、インタラクションは単調にはなりません。

要約(オリジナル)

Recent papers have used machine learning architecture to fit low-order functional ANOVA models with main effects and second-order interactions. These GAMI (GAM + Interaction) models are directly interpretable as the functional main effects and interactions can be easily plotted and visualized. Unfortunately, it is not easy to incorporate the monotonicity requirement into the existing GAMI models based on boosted trees, such as EBM (Lou et al. 2013) and GAMI-Lin-T (Hu et al. 2022). This paper considers models of the form $f(x)=\sum_{j,k}f_{j,k}(x_j, x_k)$ and develops monotone tree-based GAMI models, called monotone GAMI-Tree, by adapting the XGBoost algorithm. It is straightforward to fit a monotone model to $f(x)$ using the options in XGBoost. However, the fitted model is still a black box. We take a different approach: i) use a filtering technique to determine the important interactions, ii) fit a monotone XGBoost algorithm with the selected interactions, and finally iii) parse and purify the results to get a monotone GAMI model. Simulated datasets are used to demonstrate the behaviors of mono-GAMI-Tree and EBM, both of which use piecewise constant fits. Note that the monotonicity requirement is for the full model. Under certain situations, the main effects will also be monotone. But, as seen in the examples, the interactions will not be monotone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google