The Distributional Uncertainty of the SHAP score in Explainable Machine Learning

要約

アトリビューション スコアは、入力エンティティの特徴値が機械学習モデルの出力にとってどれだけ重要であるかを反映します。
最も人気のあるアトリビューション スコアの 1 つは、連合ゲーム理論で使用される一般的な Shapley 値をインスタンス化した SHAP スコアです。
このスコアの定義は、エンティティ母集団の確率分布に依存します。
正確な分布は一般に不明であるため、主観的に割り当てるかデータから推定する必要があり、誤解を招く特徴スコアにつながる可能性があります。
この論文では、未知のエンティティの母集団分布の下で SHAP スコアを推論するための原則的なフレームワークを提案します。
私たちのフレームワークでは、潜在的な分布を含む不確実性領域を考慮し、特徴の SHAP スコアはこの領域にわたって定義された関数になります。
この関数の最大値と最小値を見つけるという基本的な問題を研究します。これにより、すべての特徴の SHAP スコアの狭い範囲を決定できます。
特に、これらの問題とその他の関連問題の複雑さを正確に特定し、それらが NP 完全であることを示します。
最後に、実世界のデータセットでの実験を紹介し、私たちのフレームワークがより堅牢な特徴スコアリングに貢献する可能性があることを示します。

要約(オリジナル)

Attribution scores reflect how important the feature values in an input entity are for the output of a machine learning model. One of the most popular attribution scores is the SHAP score, which is an instantiation of the general Shapley value used in coalition game theory. The definition of this score relies on a probability distribution on the entity population. Since the exact distribution is generally unknown, it needs to be assigned subjectively or be estimated from data, which may lead to misleading feature scores. In this paper, we propose a principled framework for reasoning on SHAP scores under unknown entity population distributions. In our framework, we consider an uncertainty region that contains the potential distributions, and the SHAP score of a feature becomes a function defined over this region. We study the basic problems of finding maxima and minima of this function, which allows us to determine tight ranges for the SHAP scores of all features. In particular, we pinpoint the complexity of these problems, and other related ones, showing them to be NP-complete. Finally, we present experiments on a real-world dataset, showing that our framework may contribute to a more robust feature scoring.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google