A Consistent and Efficient Evaluation Strategy for Attribution Methods

要約

近年、さまざまなローカル機能の帰属方法が提案されており、フォローアップ作業により、いくつかの評価戦略が提案されました。
さまざまなアトリビューション手法でアトリビューションの品質を評価するために、画像ドメインでこれらの評価戦略の中で最も人気のあるものは、ピクセル摂動を使用します。
ただし、最近の進歩により、さまざまな評価戦略によって帰属方法のランキングが競合し、計算に非常にコストがかかる可能性があることがわかりました。
この作品では、ピクセル摂動に基づく評価戦略の情報理論的分析を提示します。
私たちの調査結果は、結果が実際の値とは対照的に、削除されたピクセルの形状を介した情報漏えいの影響を強く受けていることを明らかにしています。
理論的洞察を使用して、Remove and Debias（ROAD）と呼ばれる新しい評価フレームワークを提案します。これは2つの貢献を提供します。1つは、交絡因子の影響を軽減し、評価戦略間の一貫性を高めることです。
第2に、ROADは計算コストの高い再トレーニング手順を必要とせず、最先端技術と比較して計算コストを最大99％節約します。
ソースコードはhttps://github.com/tleemann/road_evaluationでリリースされています。

要約(オリジナル)

With a variety of local feature attribution methods being proposed in recent years, follow-up work suggested several evaluation strategies. To assess the attribution quality across different attribution techniques, the most popular among these evaluation strategies in the image domain use pixel perturbations. However, recent advances discovered that different evaluation strategies produce conflicting rankings of attribution methods and can be prohibitively expensive to compute. In this work, we present an information-theoretic analysis of evaluation strategies based on pixel perturbations. Our findings reveal that the results are strongly affected by information leakage through the shape of the removed pixels as opposed to their actual values. Using our theoretical insights, we propose a novel evaluation framework termed Remove and Debias (ROAD) which offers two contributions: First, it mitigates the impact of the confounders, which entails higher consistency among evaluation strategies. Second, ROAD does not require the computationally expensive retraining step and saves up to 99% in computational costs compared to the state-of-the-art. We release our source code at https://github.com/tleemann/road_evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google