Keep the Faith: Faithful Explanations in Convolutional Neural Networks for Case-Based Reasoning

要約

ブラック ボックス ニューラル ネットワークの予測を説明することは、意思決定が重要なタスクに適用する場合に非常に重要です。
したがって、人間は同様の例に基づいた説明を好むことがこれまでの研究で示されているにもかかわらず、属性マップは重要な画像領域を識別するために一般的に使用されます。
この目的を達成するために、ProtoPNet は、ケースベースの推論のためにクラスを代表する特徴ベクトル (プロトタイプ) のセットを学習します。
推論中に、プロトタイプに対する潜在的な特徴の類似性が線形に分類されて予測が作成され、類似性を説明するために属性マップが提供されます。
この研究では、ProtoPNet の例を使用して、事例ベースの推論のアーキテクチャが忠実な説明に必要な確立された公理を満たすかどうかを評価します。
このようなアーキテクチャにより、忠実な説明を抽出できることを示します。
しかし、類似性を説明するために使用された帰属マップが公理に違反していることを証明します。
我々は、ProtoPFaith という名前の、訓練された ProtoPNet の説明を抽出するための新しい手順を提案します。
概念的には、これらの説明は、各プロトタイプの類似性スコアに基づいて計算された Shapley 値です。
これらにより、目に見えない画像内にどのプロトタイプが存在するかを忠実に回答し、その存在に対する各ピクセルの寄与を定量化することができるため、すべての公理に準拠できます。
ProtoPNet の理論上の違反は、3 つのデータセット (CUB-200-2011、Stanford Dogs、RSNA) と 5 つのアーキテクチャ (ConvNet、ResNet、ResNet50、 WideResNet50、ResNeXt50) での実験で明らかになります。
私たちの実験は、ProtoPNet と ProtoPFaith によって与えられる説明の間に定性的な違いがあることを示しています。
さらに、摂動曲線上の面積を使用して説明を定量化し、ProtoPFaith がすべての実験で ProtoPNet を $>10^3$ 倍も上回りました。

要約(オリジナル)

Explaining predictions of black-box neural networks is crucial when applied to decision-critical tasks. Thus, attribution maps are commonly used to identify important image regions, despite prior work showing that humans prefer explanations based on similar examples. To this end, ProtoPNet learns a set of class-representative feature vectors (prototypes) for case-based reasoning. During inference, similarities of latent features to prototypes are linearly classified to form predictions and attribution maps are provided to explain the similarity. In this work, we evaluate whether architectures for case-based reasoning fulfill established axioms required for faithful explanations using the example of ProtoPNet. We show that such architectures allow the extraction of faithful explanations. However, we prove that the attribution maps used to explain the similarities violate the axioms. We propose a new procedure to extract explanations for trained ProtoPNets, named ProtoPFaith. Conceptually, these explanations are Shapley values, calculated on the similarity scores of each prototype. They allow to faithfully answer which prototypes are present in an unseen image and quantify each pixel’s contribution to that presence, thereby complying with all axioms. The theoretical violations of ProtoPNet manifest in our experiments on three datasets (CUB-200-2011, Stanford Dogs, RSNA) and five architectures (ConvNet, ResNet, ResNet50, WideResNet50, ResNeXt50). Our experiments show a qualitative difference between the explanations given by ProtoPNet and ProtoPFaith. Additionally, we quantify the explanations with the Area Over the Perturbation Curve, on which ProtoPFaith outperforms ProtoPNet on all experiments by a factor $>10^3$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google