MDM: Multiple Dynamic Masks for Visual Explanation of Neural Networks

要約

ニューラルネットワークのクラスアクティベーションマップ（CAM）検索は、ニューラルネットワークが判断を下す際に、どの領域に焦点を当てるかを教えてくれる。これまで、CAM検索方法は、ネットワークの特定の内部モジュールに依存していた。ニューラルネットワークの構造に対して特定の制約があるのです。CAMの探索に汎用性と高い性能を持たせるために学習ベースのアルゴリズムであるMultiple Dynamic Masks (MDM)を提案する。これは、写真の分類に関連する能動的な特徴のみがニューラルネットワークの分類結果に影響を与え、その他の特徴はほとんど影響を与えないという公的な認知に基づくものである。MDMが生成するマスクは、上記の認知に合致している。マスク値の制約と整合性の活性化により、異なるサイズのマスクベクトルを学習し、異なるスケールのマスクを積み重ねることで、空間情報と意味情報を両立できるCAMを生成しているのである。MDMの結果を最近の先進的なCAM探索手法の結果と比較すると、MDMの性能は最先端の結果に到達している。また、解釈可能なニューラルネットワークProtoPNetとXProtoNetにMDM手法を適用し、説明可能なプロトタイプ探索におけるモデルの性能を向上させた。最後に、異なるアーキテクチャのニューラルネットワークに対するMDMのCAM生成効果を可視化し、MDM手法の汎用性を検証した。

要約(オリジナル)

The Class Activation Map (CAM) lookup of a neural network tells us to which regions the neural network focuses when it makes a decision. In the past, the CAM search method was dependent upon a specific internal module of the network. It has specific constraints on the structure of the neural network. To make the search of CAM have generality and high performance. We propose a learning-based algorithm, namely Multiple Dynamic Masks (MDM). It is based on a public cognition that only active features of a picture related to classification will affect the classification results of the neural network, and other features will hardly affect the classification results of the network. The mask generated by MDM conforms to the above cognition. It trains mask vectors of different sizes by constraining mask values and activating consistency, then it uses stacking masks of different scale to generate CAM that can balance spatial information and semantic information. Comparing the results of MDM with those of the recent advanced CAM search method, the performance of MDM has reached the state of the art results. We applied the MDM method to the interpretable neural networks ProtoPNet and XProtoNet, which improved the performance of model in the explainable prototype search. Finally, we visualized the CAM generation effect of MDM on neural networks of different architectures, verifying the generality of the MDM method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL