Better Understanding Differences in Attribution Methods via Systematic Evaluations

要約

ディープ ニューラル ネットワークは、多くのビジョン タスクで非常に成功していますが、そのブラック ボックスの性質のために解釈が困難です。
これを克服するために、モデルの決定に最も影響を与える画像領域を特定するために、さまざまな事後帰属方法が提案されています。
グラウンド トゥルースの属性が存在しないため、このような方法の評価は困難です。
したがって、これらの方法の忠実度をより確実に測定し、それらの間の比較をより公平にし、目視検査をより体系的にするために、3つの新しい評価スキームを提案します。
忠実度に対処するために、可能な属性と不可能な属性を区別するために、入力のどの部分が出力に影響を与えることができるかを慎重に制御する新しい評価設定 (DiFull) を提案します。
公平性に対処するために、さまざまなレイヤーでさまざまな方法が適用されていることに注意してください。これにより、比較が歪められます。そのため、同じレイヤー（ML-Att）ですべての方法を評価し、これが定量的指標のパフォーマンスにどのように影響するかについて説明します。
より体系的な視覚化のために、完全なデータセットでメソッドを定性的に評価するスキーム (AggAtt) を提案します。
これらの評価スキームを使用して、幅広いモデルで広く使用されているいくつかの帰属方法の長所と短所を研究します。
最後に、いくつかの帰属方法のパフォーマンスを大幅に改善する後処理平滑化ステップを提案し、その適用可能性について説明します。

要約(オリジナル)

Deep neural networks are very successful on many vision tasks, but hard to interpret due to their black box nature. To overcome this, various post-hoc attribution methods have been proposed to identify image regions most influential to the models’ decisions. Evaluating such methods is challenging since no ground truth attributions exist. We thus propose three novel evaluation schemes to more reliably measure the faithfulness of those methods, to make comparisons between them more fair, and to make visual inspection more systematic. To address faithfulness, we propose a novel evaluation setting (DiFull) in which we carefully control which parts of the input can influence the output in order to distinguish possible from impossible attributions. To address fairness, we note that different methods are applied at different layers, which skews any comparison, and so evaluate all methods on the same layers (ML-Att) and discuss how this impacts their performance on quantitative metrics. For more systematic visualizations, we propose a scheme (AggAtt) to qualitatively evaluate the methods on complete datasets. We use these evaluation schemes to study strengths and shortcomings of some widely used attribution methods over a wide range of models. Finally, we propose a post-processing smoothing step that significantly improves the performance of some attribution methods, and discuss its applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google