Multi-Head Explainer: A General Framework to Improve Explainability in CNNs and Transformers

要約

この研究では、畳み込みニューラル ネットワーク (CNN) とトランスフォーマー ベースのモデルの説明可能性と精度の両方を強化する多用途のモジュール式フレームワークであるマルチヘッド エクスプローラー (MHEX) を紹介します。
MHEX は 3 つのコア コンポーネントで構成されます。タスク関連の機能を動的に強調表示するアテンション ゲート、ターゲット クラスに関連するきめ細かい詳細をキャプチャするように初期層をガイドするディープ スーパービジョン、洗練されたローカル表現とグローバル表現を統合して包括的な表現を生成する等価マトリックスです。
顕著性マップ。
私たちのアプローチは優れた互換性を実証しており、最小限の変更で ResNet などの既存の残留ネットワークや BERT などの Transformer アーキテクチャへの簡単な統合を可能にします。
医療画像およびテキスト分類のベンチマーク データセットに関する広範な実験により、MHEX が分類精度を向上させるだけでなく、解釈可能性の高い詳細な顕著性スコアを生成することが示されました。

要約(オリジナル)

In this study, we introduce the Multi-Head Explainer (MHEX), a versatile and modular framework that enhances both the explainability and accuracy of Convolutional Neural Networks (CNNs) and Transformer-based models. MHEX consists of three core components: an Attention Gate that dynamically highlights task-relevant features, Deep Supervision that guides early layers to capture fine-grained details pertinent to the target class, and an Equivalent Matrix that unifies refined local and global representations to generate comprehensive saliency maps. Our approach demonstrates superior compatibility, enabling effortless integration into existing residual networks like ResNet and Transformer architectures such as BERT with minimal modifications. Extensive experiments on benchmark datasets in medical imaging and text classification show that MHEX not only improves classification accuracy but also produces highly interpretable and detailed saliency scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google