A matter of attitude: Focusing on positive and active gradients to boost saliency maps

要約

顕著性マップは、そのシンプルさと提供される洞察の質により、畳み込みニューラル ネットワーク (CNN) で最も広く使用されている解釈可能性手法の 1 つとなっています。
ただし、これらの洞察が CNN が予測を立てるために使用するものを信頼できる表現であるかどうかについては、まだ疑問があります。
この論文では、顕著性マップから勾配の符号を救い出すことが、どのようにして多クラス分類問題のより深い理解につながるのかを探ります。
事前トレーニングされた CNN と最初からトレーニングされた CNN の両方を使用して、正しいクラスの符号と効果だけでなく、他のクラスの影響も考慮することで、ネットワークが実際に焦点を当てている画像のピクセルをより適切に識別できることが明らかになりました。
さらに、これらのピクセルを遮蔽または変更することが結果にどのような影響を与えると予想されるかも明確になります。

要約(オリジナル)

Saliency maps have become one of the most widely used interpretability techniques for convolutional neural networks (CNN) due to their simplicity and the quality of the insights they provide. However, there are still some doubts about whether these insights are a trustworthy representation of what CNNs use to come up with their predictions. This paper explores how rescuing the sign of the gradients from the saliency map can lead to a deeper understanding of multi-class classification problems. Using both pretrained and trained from scratch CNNs we unveil that considering the sign and the effect not only of the correct class, but also the influence of the other classes, allows to better identify the pixels of the image that the network is really focusing on. Furthermore, how occluding or altering those pixels is expected to affect the outcome also becomes clearer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google