Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification

要約

畳み込みニューラル ネットワーク (CNN) は、近年、パフォーマンスが大幅に向上しています。
ただし、そのサイズと複雑さによりブラックボックスとして機能し、透明性の懸念につながります。
最先端の顕著性手法は、クラスが識別される入力画像内の領域を強調表示する局所的な説明を生成しますが、バイアスの軽減に不可欠な、対象の概念が予測にどのように寄与するかを説明することはできません。
一方、TCAV (コンセプト活性化ベクトルによるテスト) などのコンセプトベースの手法は、ネットワークがコンセプトに対してどの程度敏感であるかについての洞察を提供しますが、特定の予測におけるその帰属を計算したり、入力画像内のその位置を示したりすることはできません。
。
この論文では、新しい事後説明可能フレームワークである Visual-TCAV を紹介します。これは、CNN ベースの画像分類にローカルとグローバルの両方の説明を提供することで、これらの手法間のギャップを埋めることを目的としています。
Visual-TCAV は、コンセプト アクティベーション ベクトル (CAV) を使用して、コンセプトがネットワークによって認識される場所を示す顕著性マップを生成します。
さらに、統合勾配の一般化を使用して、任意のクラスの出力に対するこれらの概念の帰属を推定できます。
このフレームワークは一般的な CNN アーキテクチャで評価され、その有効性は、説明のグラウンド トゥルースがわかっている実験と TCAV との比較によってさらに確認されます。
私たちのコードは間もなく利用可能になる予定です。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have seen significant performance improvements in recent years. However, due to their size and complexity, they function as black-boxes, leading to transparency concerns. State-of-the-art saliency methods generate local explanations that highlight the area in the input image where a class is identified but cannot explain how a concept of interest contributes to the prediction, which is essential for bias mitigation. On the other hand, concept-based methods, such as TCAV (Testing with Concept Activation Vectors), provide insights into how sensitive is the network to a concept, but cannot compute its attribution in a specific prediction nor show its location within the input image. This paper introduces a novel post-hoc explainability framework, Visual-TCAV, which aims to bridge the gap between these methods by providing both local and global explanations for CNN-based image classification. Visual-TCAV uses Concept Activation Vectors (CAVs) to generate saliency maps that show where concepts are recognized by the network. Moreover, it can estimate the attribution of these concepts to the output of any class using a generalization of Integrated Gradients. This framework is evaluated on popular CNN architectures, with its validity further confirmed via experiments where ground truth for explanations is known, and a comparison with TCAV. Our code will be made available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google