Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification

要約

近年、畳み込みニューラルネットワーク（CNN）の性能が大幅に向上している。しかし、そのサイズと複雑さのため、ブラックボックスとして機能し、透明性の懸念につながっている。最先端の顕著性手法は、クラスが識別された入力画像内の領域を強調する局所的な説明を生成するが、関心のある概念が予測にどのように寄与するかを説明することはできない。一方、TCAV (Testing with Concept Activation Vectors)のような概念に基づく手法は、ネットワークが概念に対してどの程度敏感であるかについての洞察を提供するが、特定の予測におけるその帰属を計算することも、入力画像内のその位置を示すこともできない。本論文では、CNNベースの画像分類に局所的な説明と大域的な説明の両方を提供することで、これらの手法のギャップを埋めることを目的とした、新しいポストホック説明可能性フレームワーク、Visual-TCAVを紹介する。Visual-TCAVは概念活性化ベクトル（Concept Activation Vectors: CAVs）を用いて、ネットワークによって概念が認識された場所を示す顕著性マップを生成する。さらに、統合勾配（Integrated Gradients）の一般化を用いて、任意のクラスの出力に対するこれらの概念の帰属を推定することができる。このフレームワークは一般的なCNNアーキテクチャで評価され、説明のためのグランドトゥルースが既知である実験や、TCAVとの比較により、その妥当性がさらに確認される。我々のコードはhttps://github.com/DataSciencePolimi/Visual-TCAV。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have seen significant performance improvements in recent years. However, due to their size and complexity, they function as black-boxes, leading to transparency concerns. State-of-the-art saliency methods generate local explanations that highlight the area in the input image where a class is identified but cannot explain how a concept of interest contributes to the prediction, which is essential for bias mitigation. On the other hand, concept-based methods, such as TCAV (Testing with Concept Activation Vectors), provide insights into how sensitive is the network to a concept, but cannot compute its attribution in a specific prediction nor show its location within the input image. This paper introduces a novel post-hoc explainability framework, Visual-TCAV, which aims to bridge the gap between these methods by providing both local and global explanations for CNN-based image classification. Visual-TCAV uses Concept Activation Vectors (CAVs) to generate saliency maps that show where concepts are recognized by the network. Moreover, it can estimate the attribution of these concepts to the output of any class using a generalization of Integrated Gradients. This framework is evaluated on popular CNN architectures, with its validity further confirmed via experiments where ground truth for explanations is known, and a comparison with TCAV. Our code is available at https://github.com/DataSciencePolimi/Visual-TCAV.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL