Sufficient and Necessary Explanations (and What Lies in Between)

要約

複雑な機械学習モデルは一か八かの意思決定シナリオに応用され続けているため、その予測を説明して理解できることが重要です。
事後説明法は、モデル出力 $f(\mathbf{x})$ に関して入力 $\mathbf{x}$ の重要な特徴を特定することで、有用な洞察を提供します。
この研究では、一般的な機械学習モデルにおける機能の重要性に関する 2 つの正確な概念、つまり十分性と必要性​​を形式化し、研究します。
これら 2 つのタイプの説明は、直感的でシンプルではあるものの、モデルがどの機能が重要であるかを完全に把握するには不十分であることを示します。
この目的を達成するために、必要性と十分性の軸に沿って連続体を探索することで、これらの制限を回避する重要性の統一概念を提案します。
私たちの統一概念は、条件付きの独立性やシャプレー値のようなゲーム理論的な量に基づくものなど、特徴の重要性に関する他の一般的な定義と強いつながりがあることがわかります。
重要なのは、統合された視点により、以前のアプローチのいずれかだけでは見逃される可能性のある重要な特徴をどのように検出できるかを実証することです。

要約(オリジナル)

As complex machine learning models continue to find applications in high-stakes decision-making scenarios, it is crucial that we can explain and understand their predictions. Post-hoc explanation methods provide useful insights by identifying important features in an input $\mathbf{x}$ with respect to the model output $f(\mathbf{x})$. In this work, we formalize and study two precise notions of feature importance for general machine learning models: sufficiency and necessity. We demonstrate how these two types of explanations, albeit intuitive and simple, can fall short in providing a complete picture of which features a model finds important. To this end, we propose a unified notion of importance that circumvents these limitations by exploring a continuum along a necessity-sufficiency axis. Our unified notion, we show, has strong ties to other popular definitions of feature importance, like those based on conditional independence and game-theoretic quantities like Shapley values. Crucially, we demonstrate how a unified perspective allows us to detect important features that could be missed by either of the previous approaches alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google