On marginal feature attributions of tree-based models

要約

そのパワーと使いやすさから、ツリーベースの機械学習モデルは非常に人気があります。
これらのモデルを解釈するには、限界的な期待に基づく局所的な特徴の属性を使用します。
限界 (介入) Shapley、Owen、または Banzhaf 値を使用できます。
このような特徴の帰属方法は、モデルおよび実装の不変条件に当てはまります。つまり、モデルの入出力関数のみに依存します。
ツリーベースのモデルの内部構造を利用することにより、それらの限界 Shapley 値、または線形ゲーム値から得られるより一般的な限界特徴属性が、特定の有限分割に関して単純な (区分定数) 関数であることを証明します。
訓練されたモデルによって決定される入力空間。
同じことが、有名な TreeSHAP アルゴリズムから取得された特徴属性にも当てはまります。
それにもかかわらず、「パス依存」の TreeSHAP は実装不変ではないことを示します。2 つの (統計的に類似した) 決定木を提示することにより、アルゴリズムが異なる機能のランキングを生成するまったく同じ関数を計算しますが、限界 Shapley 値は一致します。
さらに、限界特徴属性が単純な関数であるという事実を利用して、それらを計算する方法についても説明します。
XGBoost、LightGBM、および CatBoost ライブラリを使用した実験で示された重要な観察結果は、すべての機能の一部のみがアンサンブルのツリーに表示されることです。
したがって、周辺 Shapley (または Owen または Banzhaf) 機能の属性を計算する複雑さが軽減される可能性があります。
特に、CatBoost モデルの場合、ツリーは認識されず (対称)、それぞれの特徴の数は深さより大きくありません。
対称性を利用して、CatBoost モデルの内部パラメーターに関してのみ、境界 Shapley (および Banzhaf と Owen) 値の複雑さが改善された明示的な式を導き出します。

要約(オリジナル)

Due to their power and ease of use, tree-based machine learning models have become very popular. To interpret these models, local feature attributions based on marginal expectations e.g. marginal (interventional) Shapley, Owen or Banzhaf values may be employed. Such feature attribution methods are true to the model and implementation invariant, i.e. dependent only on the input-output function of the model. By taking advantage of the internal structure of tree-based models, we prove that their marginal Shapley values, or more generally marginal feature attributions obtained from a linear game value, are simple (piecewise-constant) functions with respect to a certain finite partition of the input space determined by the trained model. The same is true for feature attributions obtained from the famous TreeSHAP algorithm. Nevertheless, we show that the ‘path-dependent’ TreeSHAP is not implementation invariant by presenting two (statistically similar) decision trees computing the exact same function for which the algorithm yields different rankings of features, whereas the marginal Shapley values coincide. Furthermore, we discuss how the fact that marginal feature attributions are simple functions can potentially be utilized to compute them. An important observation, showcased by experiments with XGBoost, LightGBM and CatBoost libraries, is that only a portion of all features appears in a tree from the ensemble; thus the complexity of computing marginal Shapley (or Owen or Banzhaf) feature attributions may be reduced. In particular, in the case of CatBoost models, the trees are oblivious (symmetric) and the number of features in each of them is no larger than the depth. We exploit the symmetry to derive an explicit formula with improved complexity for marginal Shapley (and Banzhaf and Owen) values which is only in terms of the internal parameters of the CatBoost model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google