Holistically Explainable Vision Transformers

要約

トランスフォーマーは、多くのタスクとドメインで機械学習の世界をますます支配しており、トランスフォーマーのアウトプットを理解する重要性が増しています。
彼らの注意モジュールは内部の仕組みについて部分的な洞察を提供しますが、注意スコアはモデル全体を説明するには不十分であることが示されています.
これに対処するために、B-cos 変換器を提案します。これは本質的に、決定の全体的な説明を提供します。
具体的には、各モデル コンポーネント (多層パーセプトロン、アテンション レイヤー、トークン化モジュールなど) を動的線形に定式化します。これにより、単一の線形変換を介してトランスフォーマー全体を忠実に要約できます。
提案された設計をビジョン トランスフォーマー (ViT) に適用し、Bcos-ViT と呼ばれる結果のモデルが高度に解釈可能であり、ImageNet のベースライン ViT と競合するパフォーマンスを発揮することを示します。
コードは近日公開予定です。

要約(オリジナル)

Transformers increasingly dominate the machine learning landscape across many tasks and domains, which increases the importance for understanding their outputs. While their attention modules provide partial insight into their inner workings, the attention scores have been shown to be insufficient for explaining the models as a whole. To address this, we propose B-cos transformers, which inherently provide holistic explanations for their decisions. Specifically, we formulate each model component – such as the multi-layer perceptrons, attention layers, and the tokenisation module – to be dynamic linear, which allows us to faithfully summarise the entire transformer via a single linear transform. We apply our proposed design to Vision Transformers (ViTs) and show that the resulting models, dubbed Bcos-ViTs, are highly interpretable and perform competitively to baseline ViTs on ImageNet. Code will be made available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google