Cluster-CAM: Cluster-Weighted Visual Interpretation of CNNs’ Decision in Image Classification

要約

コンピュータビジョンにおける畳み込みニューラルネットワーク（CNN）の驚異的な成功にもかかわらず、CNNのメカニズムは未だに明確な解釈を欠いている。現在、CNNの決定を解釈するための有名な可視化手法であるクラスアクティベーションマッピング(CAM)が注目を集めている。勾配に基づくCAMは効率的である一方、勾配の消失や爆発による性能への影響が大きい。これに対し、勾配を用いないCAMは、勾配の計算を避けることができ、より理解しやすい結果を得ることができる。しかし、既存の無階調CAMは、1画像あたり数百回の前方干渉が必要であり、非常に時間がかかる。本論文では、効果的かつ効率的な無勾配CNN解釈アルゴリズムであるCluster-CAMを提案する。Cluster-CAMは教師なし方式で特徴マップをクラスタに分割することにより、前方伝播の時間を大幅に短縮することができる。さらに、クラスタ化された特徴マップから認知ベースマップと認知シザーを偽造する巧みな戦略を提案する。最終的な顕著性ヒートマップは、上記の認知マップを統合することによって計算される。定性的には、Cluster-CAMは既存のCAMと比較して、ハイライトされた領域が人間の認知と一致するヒートマップを生成できることが顕著に示される。また、定量的な評価により、Cluster-CAMが有効性と効率性の両面で優れていることがさらに示された。

要約(オリジナル)

Despite the tremendous success of convolutional neural networks (CNNs) in computer vision, the mechanism of CNNs still lacks clear interpretation. Currently, class activation mapping (CAM), a famous visualization technique to interpret CNN’s decision, has drawn increasing attention. Gradient-based CAMs are efficient while the performance is heavily affected by gradient vanishing and exploding. In contrast, gradient-free CAMs can avoid computing gradients to produce more understandable results. However, existing gradient-free CAMs are quite time-consuming because hundreds of forward interference per image are required. In this paper, we proposed Cluster-CAM, an effective and efficient gradient-free CNN interpretation algorithm. Cluster-CAM can significantly reduce the times of forward propagation by splitting the feature maps into clusters in an unsupervised manner. Furthermore, we propose an artful strategy to forge a cognition-base map and cognition-scissors from clustered feature maps. The final salience heatmap will be computed by merging the above cognition maps. Qualitative results conspicuously show that Cluster-CAM can produce heatmaps where the highlighted regions match the human’s cognition more precisely than existing CAMs. The quantitative evaluation further demonstrates the superiority of Cluster-CAM in both effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL