Post-hoc Part-prototype Networks

要約

Grad-CAM などの事後説明可能性手法は、トレーニング済みモデルのパフォーマンスに影響を与えないため、人気があります。
しかし、それらは主に、モデルが特定の入力に対して「どこ」を調べるかを明らかにしており、モデルが「何を」探すのかについては説明できません（例えば、鳥の画像をスコットオリオールズに分類するために何が重要か？）。
既存の部品プロトタイプ ネットワークは、部品プロトタイプ (例: スコット オリオールの特徴的な翼と頭) を活用して、「どこ」と「何を」の両方に答えますが、精度の点でブラック ボックスの対応物を下回ることがよくあります。
したがって、自然な疑問は次のとおりです。モデルのパフォーマンスを保証するために、「どこで」と「何を」の両方に事後的に答えるネットワークを構築できるでしょうか?
この目的を達成するために、トレーニング済みモデルの分類頭部を解釈可能なパーツ プロトタイプのセットに分解することにより、最初のポストホック パーツ プロトタイプ ネットワークを提案します。
具体的には、分類頭部を正確に再構築でき、なおかつ解釈可能なプロトタイプを取得するための、教師なしプロトタイプの発見および洗練戦略を提案します。
パフォーマンスを保証することに加えて、私たちのネットワークが定性的により忠実な説明を提供し、定量的には以前の部品プロトタイプネットワークよりもさらに優れた部品プロトタイプを生成することを示します。

要約(オリジナル)

Post-hoc explainability methods such as Grad-CAM are popular because they do not influence the performance of a trained model. However, they mainly reveal ‘where’ a model looks at for a given input, fail to explain ‘what’ the model looks for (e.g., what is important to classify a bird image to a Scott Oriole?). Existing part-prototype networks leverage part-prototypes (e.g., characteristic Scott Oriole’s wing and head) to answer both ‘where’ and ‘what’, but often under-perform their black box counterparts in the accuracy. Therefore, a natural question is: can one construct a network that answers both ‘where’ and ‘what’ in a post-hoc manner to guarantee the model’s performance? To this end, we propose the first post-hoc part-prototype network via decomposing the classification head of a trained model into a set of interpretable part-prototypes. Concretely, we propose an unsupervised prototype discovery and refining strategy to obtain prototypes that can precisely reconstruct the classification head, yet being interpretable. Besides guaranteeing the performance, we show that our network offers more faithful explanations qualitatively and yields even better part-prototypes quantitatively than prior part-prototype networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google