Adapting and Evaluating Influence-Estimation Methods for Gradient-Boosted Decision Trees

要約

タイトル：勾配ブースティング決定木における影響推定手法の適応と評価

要約：
– 影響推定は、トレーニングデータの変更がモデル予測にどのような影響を与えるかを分析することで、モデル予測、モデルの背後にあるプロセス、およびトレーニングデータセットをより理解することができます。
– しかし、ほとんどの影響推定手法は、連続パラメータを持つディープラーニングモデルに対して設計されています。
– 勾配ブースティング決定木（GBDT）は、強力で広く使用されているモデルのクラスです。しかし、これらのモデルは不透明な決定プロセスを持つブラックボックスです。
– このような問題を解決するために、最近のディープラーニングモデル向け影響推定手法をGBDTに適応しました。
– TREXとBoostInという新しい方法を作成し、22の実世界データセットで4つのGBDT実装を使用して、LeafInfluenceや他のベースラインと比較し、5つの評価尺度で評価しました。
– BoostInは、等しいまたはより良いパフォーマンスを示しながら4桁高速な影響推定手法であり、GBDTモデルにとって効率的な手法となっています。また、LOO再学習という適応的アプローチも評価され、単一の影響力を持つトレーニング例を一貫して特定することができますが、対象予測のための最も影響力のあるトレーニング例の集合を見つけるのにはうまくいかないことがわかりました。

要約(オリジナル)

Influence estimation analyzes how changes to the training data can lead to different model predictions; this analysis can help us better understand these predictions, the models making those predictions, and the data sets they’re trained on. However, most influence-estimation techniques are designed for deep learning models with continuous parameters. Gradient-boosted decision trees (GBDTs) are a powerful and widely-used class of models; however, these models are black boxes with opaque decision-making processes. In the pursuit of better understanding GBDT predictions and generally improving these models, we adapt recent and popular influence-estimation methods designed for deep learning models to GBDTs. Specifically, we adapt representer-point methods and TracIn, denoting our new methods TREX and BoostIn, respectively; source code is available at https://github.com/jjbrophy47/tree_influence. We compare these methods to LeafInfluence and other baselines using 5 different evaluation measures on 22 real-world data sets with 4 popular GBDT implementations. These experiments give us a comprehensive overview of how different approaches to influence estimation work in GBDT models. We find BoostIn is an efficient influence-estimation method for GBDTs that performs equally well or better than existing work while being four orders of magnitude faster. Our evaluation also suggests the gold-standard approach of leave-one-out~(LOO) retraining consistently identifies the single-most influential training example but performs poorly at finding the most influential set of training examples for a given target prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI