BONES: a Benchmark fOr Neural Estimation of Shapley values

要約

Shapley Values は、eXplainable AI のために確立された概念です。
これらは、モデルの結果に対する特徴の寄与を定量化することにより、ブラックボックス予測モデルを説明するために使用されます。
現実世界のデータセットでは正確なシャプレー値を計算することは計算上困難であることが知られているため、近似的なシャプレー値推定値を取得するためのよりスケーラブルな代替アプローチとしてニューラル推定器が登場しました。
ただし、アルゴリズムの実装、説明評価器、および結果の視覚化が標準化されておらず、すぐに使用できるわけでもないため、ニューラル推定器を使用した実験を再現するのは現時点では困難です。
このギャップを埋めるために、Shapley 値のニューラル推定に焦点を当てた新しいベンチマークである BONES を紹介します。
研究者には、最先端のニューラル推定および従来型推定器のスイート、一般的に使用されるベンチマーク データセットのセット、ブラック ボックス モデルをトレーニングするためのアドホック モジュール、最も一般的な評価指標を簡単に計算するための特定の関数が提供されます。
そして結果を視覚化します。
目的は、XAI モデルの使用、評価、比較を簡素化することです。
このペーパーでは、表形式データと画像データの両方に対する XAI モデル ベンチマークの BONES 結果と視覚化を紹介します。
オープンソース ライブラリは次のリンクから入手できます: https://github.com/DavideNapolitano/BONES。

要約(オリジナル)

Shapley Values are concepts established for eXplainable AI. They are used to explain black-box predictive models by quantifying the features’ contributions to the model’s outcomes. Since computing the exact Shapley Values is known to be computationally intractable on real-world datasets, neural estimators have emerged as alternative, more scalable approaches to get approximated Shapley Values estimates. However, experiments with neural estimators are currently hard to replicate as algorithm implementations, explainer evaluators, and results visualizations are neither standardized nor promptly usable. To bridge this gap, we present BONES, a new benchmark focused on neural estimation of Shapley Value. It provides researchers with a suite of state-of-the-art neural and traditional estimators, a set of commonly used benchmark datasets, ad hoc modules for training black-box models, as well as specific functions to easily compute the most popular evaluation metrics and visualize results. The purpose is to simplify XAI model usage, evaluation, and comparison. In this paper, we showcase BONES results and visualizations for XAI model benchmarking on both tabular and image data. The open-source library is available at the following link: https://github.com/DavideNapolitano/BONES.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google