Unifying local and global model explanations by functional decomposition of low dimensional structures

要約

回帰または分類関数のグローバルな表現を、それを任意の順序の主成分と相互作用成分の合計に分解することによって検討します。
介入SHAP値と部分依存プロットの抽出を可能にする新しい識別制約を提案し、それによってローカルとグローバルの説明を統合します。
提案された識別では、特徴の部分依存プロットは、主効果項と切片に対応します。
機能 $k$ の介入 SHAP 値は、メイン コンポーネントと $k$ を含むすべての相互作用コンポーネントの加重合計であり、加重はコンポーネントの次元の逆数によって与えられます。
これは、以前はゲーム理論のみによって動機付けられていた SHAP 値などのローカルな説明に新しい視点をもたらします。
分解を使用して、保護された機能を含むすべてのコンポーネントを削除することにより、直接的および間接的なバイアスを削減できることを示します。
最後に、機能の重要性を測る新たな基準の動機付けを行います。
原則として、私たちが提案した機能分解はあらゆる機械学習モデルに適用できますが、正確な計算は低次元構造またはそれらの集合体に対してのみ実行可能です。
勾配ブースティング ツリー (xgboost) とランダム人工林のアルゴリズムと効率的な実装を提供します。
実施された実験は、私たちの方法が意味のある説明を提供し、高次の相互作用を明らかにすることを示唆しています。
提案されたメソッドは R パッケージに実装されており、\url{https://github.com/PlantedML/glex} で入手できます。

要約(オリジナル)

We consider a global representation of a regression or classification function by decomposing it into the sum of main and interaction components of arbitrary order. We propose a new identification constraint that allows for the extraction of interventional SHAP values and partial dependence plots, thereby unifying local and global explanations. With our proposed identification, a feature’s partial dependence plot corresponds to the main effect term plus the intercept. The interventional SHAP value of feature $k$ is a weighted sum of the main component and all interaction components that include $k$, with the weights given by the reciprocal of the component’s dimension. This brings a new perspective to local explanations such as SHAP values which were previously motivated by game theory only. We show that the decomposition can be used to reduce direct and indirect bias by removing all components that include a protected feature. Lastly, we motivate a new measure of feature importance. In principle, our proposed functional decomposition can be applied to any machine learning model, but exact calculation is only feasible for low-dimensional structures or ensembles of those. We provide an algorithm and efficient implementation for gradient-boosted trees (xgboost) and random planted forest. Conducted experiments suggest that our method provides meaningful explanations and reveals interactions of higher orders. The proposed methods are implemented in an R package, available at \url{https://github.com/PlantedML/glex}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google