Evaluating Feature Attribution Methods in the Image Domain

要約

特徴属性マップは、モデルの特定の予測において画像内の最も重要なピクセルを強調表示する一般的なアプローチです。
最近人気が高まり、利用可能な手法が増えているにもかかわらず、そのようなアトリビューション マップの客観的な評価にはほとんど注目が集まっていません。
この分野での以前の研究に基づいて、既存の指標を調査し、アトリビューション マップを評価するための指標の新しいバリエーションを提案します。
私たちは、さまざまなアトリビューション メトリックがアトリビューション マップのさまざまな基礎概念を測定しているようであるという最近の発見を確認し、この発見をより幅広いアトリビューション メトリックの選択に拡張します。
また、あるデータセットのメトリック結果が他のデータセットに必ずしも一般化されるわけではなく、DeepSHAP などの望ましい理論的特性を持つ手法が、計算コストがより安価な代替手法より必ずしも優れているわけではないこともわかりました。
これらの発見に基づいて、特定のユースケースに対する理想的な機能帰属方法を特定するための一般的なベンチマーク アプローチを提案します。
アトリビューション指標の実装と実験はオンラインで利用できます。

要約(オリジナル)

Feature attribution maps are a popular approach to highlight the most important pixels in an image for a given prediction of a model. Despite a recent growth in popularity and available methods, little attention is given to the objective evaluation of such attribution maps. Building on previous work in this domain, we investigate existing metrics and propose new variants of metrics for the evaluation of attribution maps. We confirm a recent finding that different attribution metrics seem to measure different underlying concepts of attribution maps, and extend this finding to a larger selection of attribution metrics. We also find that metric results on one dataset do not necessarily generalize to other datasets, and methods with desirable theoretical properties such as DeepSHAP do not necessarily outperform computationally cheaper alternatives. Based on these findings, we propose a general benchmarking approach to identify the ideal feature attribution method for a given use case. Implementations of attribution metrics and our experiments are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google