Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions for Tree Ensembles

要約

浅いデシジョン ツリーは解釈可能である可能性がありますが、勾配ブースト ツリーのような大規模なアンサンブル モデルは、表形式データを含む機械学習問題の最先端となることが多く、依然としてブラック ボックス モデルのままです。
解決策として、Shapley 値 (SV) は、予測の付加的な特徴の属性を定量化するための説明可能な人工知能 (XAI) 研究におけるよく知られた概念です。
モデル固有の TreeSHAP 手法は、ツリーベースのモデルから正確な SV を取得するための指数関数的な複雑さを解決します。
シャプレー相互作用は、個々の特徴の帰属を超えて拡張され、あらゆる次数の複雑な特徴相互作用の影響を明らかにします。
この研究では、ツリーベースのモデルを予測するための任意の次数の加法的 Shapley 相互作用を計算する効率的な方法である TreeSHAP-IQ を紹介します。
TreeSHAP-IQ は、Linear TreeSHAP と同様に、多項式演算を利用してツリーの 1 回の再帰的走査で相互作用スコアを計算する数学的フレームワークによってサポートされています。
TreeSHAP-IQ を最先端のツリー アンサンブルに適用し、確立されたベンチマーク データセットでの相互作用を調査します。

要約(オリジナル)

While shallow decision trees may be interpretable, larger ensemble models like gradient-boosted trees, which often set the state of the art in machine learning problems involving tabular data, still remain black box models. As a remedy, the Shapley value (SV) is a well-known concept in explainable artificial intelligence (XAI) research for quantifying additive feature attributions of predictions. The model-specific TreeSHAP methodology solves the exponential complexity for retrieving exact SVs from tree-based models. Expanding beyond individual feature attribution, Shapley interactions reveal the impact of intricate feature interactions of any order. In this work, we present TreeSHAP-IQ, an efficient method to compute any-order additive Shapley interactions for predictions of tree-based models. TreeSHAP-IQ is supported by a mathematical framework that exploits polynomial arithmetic to compute the interaction scores in a single recursive traversal of the tree, akin to Linear TreeSHAP. We apply TreeSHAP-IQ on state-of-the-art tree ensembles and explore interactions on well-established benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google