Explaining the Impact of Training on Vision Models via Activation Clustering

要約

視覚モデル用の説明可能な人工知能 (XAI) の分野における最近の開発では、特徴エンコーダーによって抽出された情報が調査されています。
我々はこの取り組みに貢献し、説明される凍結ネットワークの機能活性化をクラスタリングすることによってエンコーダによってキャプチャされた情報を抽出する、Neuro-Activated Vision Explains (NAVE) を提案します。
この方法の目的は、モデルの予測を説明することではなく、画像のどの部分が同様に処理されるか、どの情報がより深い層に保持されるかなどの質問に答えることです。
実験的に、NAVE を活用して、トレーニング データセットと監視のレベルがどの概念がキャプチャされるかに影響を与えることを示しました。
さらに、私たちの方法は、ビジョントランスフォーマー（ViT）に対するレジスタの影響と、トレーニングセット内のウォーターマーククレバーハンス効果によって引き起こされる情報飽和を明らかにします。

要約(オリジナル)

Recent developments in the field of explainable artificial intelligence (XAI) for vision models investigate the information extracted by their feature encoder. We contribute to this effort and propose Neuro-Activated Vision Explanations (NAVE), which extracts the information captured by the encoder by clustering the feature activations of the frozen network to be explained. The method does not aim to explain the model’s prediction but to answer questions such as which parts of the image are processed similarly or which information is kept in deeper layers. Experimentally, we leverage NAVE to show that the training dataset and the level of supervision affect which concepts are captured. In addition, our method reveals the impact of registers on vision transformers (ViT) and the information saturation caused by the watermark Clever Hans effect in the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google