Succinct Interaction-Aware Explanations

要約

SHAP は、個々の機能の重要性を明らかにすることでブラックボックス モデルを説明する一般的なアプローチです。
機能の相互作用を無視しているため、SHAP の説明は混乱を招き、誤解を招く可能性があります。
一方、NSHAP は、機能のすべてのサブセットの追加の重要性を報告します。
これには、相互作用するすべての機能セットが含まれますが、指数関数的にサイズが大きくなり、解釈が困難になる説明にもつながります。
このペーパーでは、機能を大きく相互作用する部分に分割することによって、これら 2 つの世界の長所を組み合わせ、これらの部分を使用して簡潔で解釈可能な追加的な説明を構成することを提案します。
私たちは、結果として得られる説明の複雑さと引き換えに、モデルの動作に対するそのような分割の代表性を測定するための基準を導き出します。
超指数関数的に多くのパーティションから最適なパーティションを効率的に見つけるために、統計テストを使用して次善のソリューションを取り除く方法を示します。これは、実行時間を改善するだけでなく、誤った相互作用の検出にも役立ちます。
合成データと現実世界のデータに関する実験では、私たちの説明がどちらもより正確であることが示されています。
SHAP や NSHAP よりも解釈が容易です。

要約(オリジナル)

SHAP is a popular approach to explain black-box models by revealing the importance of individual features. As it ignores feature interactions, SHAP explanations can be confusing up to misleading. NSHAP, on the other hand, reports the additive importance for all subsets of features. While this does include all interacting sets of features, it also leads to an exponentially sized, difficult to interpret explanation. In this paper, we propose to combine the best of these two worlds, by partitioning the features into parts that significantly interact, and use these parts to compose a succinct, interpretable, additive explanation. We derive a criterion by which to measure the representativeness of such a partition for a models behavior, traded off against the complexity of the resulting explanation. To efficiently find the best partition out of super-exponentially many, we show how to prune sub-optimal solutions using a statistical test, which not only improves runtime but also helps to detect spurious interactions. Experiments on synthetic and real world data show that our explanations are both more accurate resp. more easily interpretable than those of SHAP and NSHAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google