Is ProtoPNet Really Explainable? Evaluating and Improving the Interpretability of Prototypes

要約

ProtoPNet とそのフォローアップ バリアント (ProtoPNets) は、プロトタイプからの固有の解釈可能性と、解釈不可能な対応物と同等の精度のために、幅広い研究の関心を集めています。
しかし、潜在空間の類似性と入力空間の類似性との間のセマンティックギャップにより、プロトタイプの解釈可能性が損なわれる可能性があることが最近発見されました。
この作業では、チェリーピックによって誤解されやすいいくつかの視覚化の例による定性的評価のみではなく、プロトタイプベースの説明の解釈可能性を定量的に評価する最初の試みを行います。
この目的のために、説明の一貫性クロスイメージと摂動に対する説明のロバスト性を評価するために、一貫性スコアと安定性スコアと呼ばれる2つの評価指標を提案します。これらはどちらも、説明を実践するために不可欠です。
さらに、プロトタイプの解釈可能性を改善するために、浅い深さの機能アライメント（SDFA）モジュールとスコア集約（SA）モジュールを提案します。
既存の ProtoPNet の解釈可能性を明らかにするために、体系的な評価実験と実質的な議論を行います。
実験は、精度と解釈可能性の両方で、従来の定性的評価と提案された定量的評価の両方の下で、私たちの方法が最先端技術よりも大幅に優れたパフォーマンスを達成することを示しています。
コードは https://github.com/hqhQAQ/EvalProtoPNet で入手できます。

要約(オリジナル)

ProtoPNet and its follow-up variants (ProtoPNets) have attracted broad research interest for their intrinsic interpretability from prototypes and comparable accuracy to non-interpretable counterparts. However, it has been recently found that the interpretability of prototypes can be corrupted due to the semantic gap between similarity in latent space and that in input space. In this work, we make the first attempt to quantitatively evaluate the interpretability of prototype-based explanations, rather than solely qualitative evaluations by some visualization examples, which can be easily misled by cherry picks. To this end, we propose two evaluation metrics, termed consistency score and stability score, to evaluate the explanation consistency cross images and the explanation robustness against perturbations, both of which are essential for explanations taken into practice. Furthermore, we propose a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and substantial discussions to uncover the interpretability of existing ProtoPNets. Experiments demonstrate that our method achieves significantly superior performance to the state-of-the-arts, under both the conventional qualitative evaluations and the proposed quantitative evaluations, in both accuracy and interpretability. Codes are available at https://github.com/hqhQAQ/EvalProtoPNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google