Disentangling Visual Transformers: Patch-level Interpretability for Image Classification

要約

視覚的な変圧器は、画像分類タスクで顕著なパフォーマンスを達成していますが、このパフォーマンスの増加は解釈可能性を犠牲にしてもたらされました。
変圧器の解釈に対する主な障害の1つは、自己触媒メカニズムであり、画像全体にわたって視覚情報を複雑な方法で混合します。
この論文では、Visual Transformerに触発されたデザインアーキテクチャによる解釈可能な小説であるHindered Transformer（Hit）を提案します。
提案されているアーキテクチャは、分類段階でのパッチの影響をよりよく解き放つように変圧器の設計を再考します。
最終的に、ヒットはパッチレベル情報の線形組み合わせとして解釈できます。
説明の観点からのアプローチの利点は、パフォーマンスの合理的なトレードオフに伴い、解釈可能性が最重要であるアプリケーションにとって魅力的な代替手段となっていることを示しています。

要約(オリジナル)

Visual transformers have achieved remarkable performance in image classification tasks, but this performance gain has come at the cost of interpretability. One of the main obstacles to the interpretation of transformers is the self-attention mechanism, which mixes visual information across the whole image in a complex way. In this paper, we propose Hindered Transformer (HiT), a novel interpretable by design architecture inspired by visual transformers. Our proposed architecture rethinks the design of transformers to better disentangle patch influences at the classification stage. Ultimately, HiT can be interpreted as a linear combination of patch-level information. We show that the advantages of our approach in terms of explicability come with a reasonable trade-off in performance, making it an attractive alternative for applications where interpretability is paramount.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google