Benchmarking the Attribution Quality of Vision Models

要約

アトリビューション マップは、コンピューター ビジョン モデルの機能を説明する最も確立されたツールの 1 つです。
入力特徴に重要度スコアを割り当て、各特徴がディープ ニューラル ネットワークの予測にどの程度関連しているかを示します。
新しいアトリビューション手法を提案するために多くの研究が行われていますが、その適切な評価は依然として難しい課題です。
この研究では、広く使用されている増分削除プロトコルの 2 つの基本的な制限、つまりドメイン外の問題とモデル間比較の欠如という 2 つの基本的な制限を克服する新しい評価プロトコルを提案します。
これにより、23 のアトリビューション方法と、一般的なビジョン モデルの 8 つの異なる設計選択がアトリビューションの品質にどのように影響するかを評価することができます。
本質的に説明可能なモデルは標準モデルよりも優れており、生のアトリビューション値は以前の研究で知られているものよりも高いアトリビューション品質を示すことがわかりました。
さらに、ネットワーク設計を変更するとアトリビューションの品質が一貫して変化することを示し、いくつかの標準的な設計の選択がアトリビューションの品質を向上させることを示しています。

要約(オリジナル)

Attribution maps are one of the most established tools to explain the functioning of computer vision models. They assign importance scores to input features, indicating how relevant each feature is for the prediction of a deep neural network. While much research has gone into proposing new attribution methods, their proper evaluation remains a difficult challenge. In this work, we propose a novel evaluation protocol that overcomes two fundamental limitations of the widely used incremental-deletion protocol, i.e., the out-of-domain issue and lacking inter-model comparisons. This allows us to evaluate 23 attribution methods and how eight different design choices of popular vision models affect their attribution quality. We find that intrinsically explainable models outperform standard models and that raw attribution values exhibit a higher attribution quality than what is known from previous work. Further, we show consistent changes in the attribution quality when varying the network design, indicating that some standard design choices promote attribution quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google