Explaining the Impact of Training on Vision Models via Activation Clustering

要約

Visionモデル向けの説明可能な人工知能（XAI）の分野での最近の開発は、機能エンコーダーによって抽出された情報を調査します。
この取り組みに貢献し、神経活性化ビジョンの説明（NAVE）を提案します。これは、説明するためにフローズンネットワークの機能アクティベーションをクラスタリングすることにより、エンコーダーによってキャプチャされた情報を抽出します。
この方法は、モデルの予測を説明することではなく、どの部分が同様に処理されるか、どの情報がより深い層に保持されるかなどの質問に答えることを目的としています。
実験的に、身廊を活用して、トレーニングデータセットと監督レベルがどの概念がキャプチャされているかに影響することを示します。
さらに、私たちの方法は、視力変圧器（VIT）に対するレジスタの影響と、トレーニングセットの透かし式ハンズ効果によって引き起こされる情報の飽和を明らかにしています。

要約(オリジナル)

Recent developments in the field of explainable artificial intelligence (XAI) for vision models investigate the information extracted by their feature encoder. We contribute to this effort and propose Neuro-Activated Vision Explanations (NAVE), which extracts the information captured by the encoder by clustering the feature activations of the frozen network to be explained. The method does not aim to explain the model’s prediction but to answer questions such as which parts of the image are processed similarly or which information is kept in deeper layers. Experimentally, we leverage NAVE to show that the training dataset and the level of supervision affect which concepts are captured. In addition, our method reveals the impact of registers on vision transformers (ViT) and the information saturation caused by the watermark Clever Hans effect in the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google