Evaluation and Improvement of Interpretability for Self-Explainable Part-Prototype Networks

要約

部分プロトタイプ ネットワーク (ProtoPNet、ProtoTree、ProtoPool など) は、その本質的な解釈可能性と解釈不可能なネットワークに匹敵する精度により、幅広い研究の関心を集めています。
しかし、最近の研究では、特徴空間の類似性と入力空間の類似性の間に意味論的なギャップがあるため、プロトタイプからの解釈可能性が脆弱であることが判明しました。
この研究では、部分プロトタイプ ネットワークの解釈可能性を定量的かつ客観的に評価するという初めての試みを行うことで、この課題に対処しようと努めています。
具体的には、画像間の説明の一貫性と摂動に対する説明のロバスト性をそれぞれ評価するために、一貫性スコアと安定性スコアと呼ばれる 2 つの評価指標を提案します。これらはどちらも実際に使用される説明に不可欠です。
さらに、プロトタイプの解釈可能性を向上させるために、浅い深さの特徴アライメント（SDFA）モジュールとスコア集計（SA）モジュールを備えた精緻なパーツプロトタイプネットワークを提案します。
私たちは体系的な評価実験を実施し、既存のパーツプロトタイプネットワークの解釈可能性を明らかにするための実質的な議論を提供します。
9 つのアーキテクチャにわたる 3 つのベンチマークでの実験により、私たちのモデルが精度と解釈可能性の両方において、最先端のものよりも大幅に優れたパフォーマンスを達成していることが実証されました。
私たちのコードは https://github.com/hqhQAQ/EvalProtoPNet で入手できます。

要約(オリジナル)

Part-prototype networks (e.g., ProtoPNet, ProtoTree, and ProtoPool) have attracted broad research interest for their intrinsic interpretability and comparable accuracy to non-interpretable counterparts. However, recent works find that the interpretability from prototypes is fragile, due to the semantic gap between the similarities in the feature space and that in the input space. In this work, we strive to address this challenge by making the first attempt to quantitatively and objectively evaluate the interpretability of the part-prototype networks. Specifically, we propose two evaluation metrics, termed as consistency score and stability score, to evaluate the explanation consistency across images and the explanation robustness against perturbations, respectively, both of which are essential for explanations taken into practice. Furthermore, we propose an elaborated part-prototype network with a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and provide substantial discussions to uncover the interpretability of existing part-prototype networks. Experiments on three benchmarks across nine architectures demonstrate that our model achieves significantly superior performance to the state of the art, in both the accuracy and interpretability. Our code is available at https://github.com/hqhQAQ/EvalProtoPNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google