Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization

要約

勾配ブースト決定木（GBDT）は、表形式データのモデリングに広く用いられている、非常に有効な機械学習アプローチである。しかし、その複雑な構造は、未経験のデータにおける小さな共変量摂動に対する頑健性を低くする可能性がある。本研究では、ワンホットエンコーディングを適用し、各樹木の葉を1つのダミー変数にエンコードすることで、GBDTモデルを線形フレームワークに変換することを提案する。これにより、線形回帰手法に加え、共変量摂動に対するGBDTモデルの頑健性を評価するための新しいリスク分解を使用することができる。我々は、$L_1$または$L_2$正則化を用いて線形回帰形式を修正することにより、GBDTモデルの頑健性を向上させることを提案する。正則化がモデルの性能と頑健性に与える影響について理論的な結果を得る。また、数値実験により、提案する正則化手法がワンホットエンコードGBDTモデルの頑健性を向上させることができることを実証した。

要約(オリジナル)

Gradient-boosted decision trees (GBDT) are widely used and highly effective machine learning approach for tabular data modeling. However, their complex structure may lead to low robustness against small covariate perturbation in unseen data. In this study, we apply one-hot encoding to convert a GBDT model into a linear framework, through encoding of each tree leaf to one dummy variable. This allows for the use of linear regression techniques, plus a novel risk decomposition for assessing the robustness of a GBDT model against covariate perturbations. We propose to enhance the robustness of GBDT models by refitting their linear regression forms with $L_1$ or $L_2$ regularization. Theoretical results are obtained about the effect of regularization on the model performance and robustness. It is demonstrated through numerical experiments that the proposed regularization approach can enhance the robustness of the one-hot-encoded GBDT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL