Impossibility Theorems for Feature Attribution

要約

タイトル：特徴の帰属を行う際の不可能定理

要約：
– いくつかの解釈性の高い手法があるものの、そのような手法が失敗する場合があることが実証されている。
– 例えば、統合勾配やSHAPなど、完全かつ線形な特徴の帰属手法は、中程度に豊富なモデルクラスに（ニューラルネットワークで容易に満たすことができる）おいても、モデルの振る舞いを推測するにあたって、ランダムな推測に比べて改善できない可能性があることを示す。
– この結果は、ローカルなモデルの振る舞いを特定する、偽の特徴を特定する、アルゴリズム的救済などの一般的な終端タスクに適用される。
– 結論として、タスクを具体的に定義することの重要性が示された。終端タスクが定義されたら、再評価による単純かつ直接的なアプローチが、多くの複雑な特徴の帰属手法を上回る可能性がある。

要約(オリジナル)

Despite a sea of interpretability methods that can produce plausible explanations, the field has also empirically seen many failure cases of such methods. In light of these results, it remains unclear for practitioners how to use these methods and choose between them in a principled way. In this paper, we show that for moderately rich model classes (easily satisfied by neural networks), any feature attribution method that is complete and linear — for example, Integrated Gradients and SHAP — can provably fail to improve on random guessing for inferring model behaviour. Our results apply to common end-tasks such as characterizing local model behaviour, identifying spurious features, and algorithmic recourse. One takeaway from our work is the importance of concretely defining end-tasks: once such an end-task is defined, a simple and direct approach of repeated model evaluations can outperform many other complex feature attribution methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI