LeGrad: An Explainability Method for Vision Transformers via Feature Formation Sensitivity

要約

ビジョン トランスフォーマー (ViT) は、セルフ アテンション メカニズムを通じて長距離の依存関係をモデル化する機能を備えており、コンピューター ビジョンの標準アーキテクチャになっています。
ただし、これらのモデルの解釈可能性は依然として課題です。
これに対処するために、ViT 向けに特別に設計された説明可能性手法である LeGrad を提案します。
LeGrad は、勾配自体を説明可能性信号として考慮して、ViT 層のアテンション マップに関する勾配を計算します。
すべての層にわたって信号を集約し、最後のトークンと中間トークンのアクティブ化を組み合わせて、マージされた説明可能性マップを生成します。
これにより、LeGrad は概念的にシンプルで、ViT の透明性を高めるための実装が容易なツールになります。
私たちは、困難なセグメンテーション、摂動、およびオープン語彙設定で LeGrad を評価し、他の SotA 説明可能手法と比較してその優れた空間忠実性と摂動に対するロバスト性を実証するその多用途性を示します。
デモとコードは https://github.com/WalBouss/LeGrad で入手できます。

要約(オリジナル)

Vision Transformers (ViTs), with their ability to model long-range dependencies through self-attention mechanisms, have become a standard architecture in computer vision. However, the interpretability of these models remains a challenge. To address this, we propose LeGrad, an explainability method specifically designed for ViTs. LeGrad computes the gradient with respect to the attention maps of ViT layers, considering the gradient itself as the explainability signal. We aggregate the signal over all layers, combining the activations of the last as well as intermediate tokens to produce the merged explainability map. This makes LeGrad a conceptually simple and an easy-to-implement tool for enhancing the transparency of ViTs. We evaluate LeGrad in challenging segmentation, perturbation, and open-vocabulary settings, showcasing its versatility compared to other SotA explainability methods demonstrating its superior spatial fidelity and robustness to perturbations. A demo and the code is available at https://github.com/WalBouss/LeGrad.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google