Provably Accurate Shapley Value Estimation via Leverage Score Sampling

要約

もともとゲーム理論で導入されたShapleyの値は、説明可能な機械学習の中心的なツールとして浮上しており、モデルの予測を特定の入力機能に起因するために使用されます。
ただし、Shapley値を計算するのは正確に高価です。$ n $の機能を備えた一般的なモデルの場合、$ o（2^n）$モデルの評価が必要です。
この問題に対処するために、近似アルゴリズムが広く使用されています。
最も人気のあるものの1つは、カーネルシャップアルゴリズムです。これはモデルに依存しており、実際に非常に効果的です。
ただし、私たちの知る限り、カーネルシェップには強力な非症状の複雑さの保証はありません。
この問題に対処し、レバレッジシャップを導入します。これは、$ O（n \ log n）$モデルの評価で実証的に正確なShapley値の推定値を提供するカーネルシャップの軽量変更です。
私たちのアプローチは、強力な回帰ツールであるレバレッジスコアサンプリングを採用することにより、Shapley値の推定と不可知論のアクティブ学習の間の接続を利用します。
理論的保証を超えて、レバレッジシェップは、ユビキタスシェップライブラリで利用可能なカーネルシェップの高度に最適化された実装さえも一貫してパフォーマンスすることを示しています[Lundberg＆Lee、2017]。

要約(オリジナル)

Originally introduced in game theory, Shapley values have emerged as a central tool in explainable machine learning, where they are used to attribute model predictions to specific input features. However, computing Shapley values exactly is expensive: for a general model with $n$ features, $O(2^n)$ model evaluations are necessary. To address this issue, approximation algorithms are widely used. One of the most popular is the Kernel SHAP algorithm, which is model agnostic and remarkably effective in practice. However, to the best of our knowledge, Kernel SHAP has no strong non-asymptotic complexity guarantees. We address this issue by introducing Leverage SHAP, a light-weight modification of Kernel SHAP that provides provably accurate Shapley value estimates with just $O(n\log n)$ model evaluations. Our approach takes advantage of a connection between Shapley value estimation and agnostic active learning by employing leverage score sampling, a powerful regression tool. Beyond theoretical guarantees, we show that Leverage SHAP consistently outperforms even the highly optimized implementation of Kernel SHAP available in the ubiquitous SHAP library [Lundberg & Lee, 2017].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google