Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization

要約

タイトル：　One-Hotエンコーディングと正則化によるGradient-Boosted決定木の耐久性の向上

要約：

– Gradient-boosted決定木（GBDT）は、表形式のデータモデリングにおいて広く使われている効果的な機械学習手法である。
– しかし、GBDTモデルの複雑な構造は、未知データにおける小さな共変量の助けの調整に対して耐久性が低いことがある。
– この研究では、1つのダミー変数に各ツリーの葉をエンコーディングすることで、GBDTモデルを線形フレームワークに変換するOne-Hotエンコーディングを適用した。
– これにより、線形回帰技術を使用することができ、GBDTモデルの耐久性評価のための新しいリスク分解が可能となる。
– L1またはL2正則化を使用して、GBDTモデルの線形回帰形式を再フィットすることで、GBDTモデルの耐久性を向上させることを提案している。
– 正則化がモデルパフォーマンスと耐久性に及ぼす影響に関する理論的結果が得られている。
– 数値実験により、提案された正則化手法がOne-HotエンコーディングされたGBDTモデルの耐久性を向上させることが示されている。

要約(オリジナル)

Gradient-boosted decision trees (GBDT) are widely used and highly effective machine learning approach for tabular data modeling. However, their complex structure may lead to low robustness against small covariate perturbation in unseen data. In this study, we apply one-hot encoding to convert a GBDT model into a linear framework, through encoding of each tree leaf to one dummy variable. This allows for the use of linear regression techniques, plus a novel risk decomposition for assessing the robustness of a GBDT model against covariate perturbations. We propose to enhance the robustness of GBDT models by refitting their linear regression forms with $L_1$ or $L_2$ regularization. Theoretical results are obtained about the effect of regularization on the model performance and robustness. It is demonstrated through numerical experiments that the proposed regularization approach can enhance the robustness of the one-hot-encoded GBDT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI