CoE: Chain-of-Explanation via Automatic Visual Concept Circuit Description and Polysemanticity Quantification

要約

説明可能性は、ディープビジョンモデル（DVM）の幅広い展開に影響を与える重要な要因です。
コンセプトベースの事後説明方法は、モデルの決定に関するグローバルおよびローカルの両方の洞察を提供できます。
ただし、この分野の現在の方法は、グローバルな概念とローカル回路の正確で十分な言語説明を自動的に構築するために柔軟性がないという点で課題に直面しています。
特に、セマンティックビジュアルコンセプト（VC）の固有の多数性は、概念とDVMの解釈可能性を妨げ、これは厳しく過小評価されています。
この論文では、これらの問題に対処するために、概要（COE）アプローチを提案します。
具体的には、COEはVCSのデコードと説明を自動化して、グローバルな概念説明データセットを構築します。
さらに、モデルの説明可能性に対する多重化学性の効果を軽減するために、私たちは概念の多様性解体化とフィルタリングメカニズムを設計して、最も文脈的に関連する概念原子を区別します。
また、モデルの解釈可能性の尺度として、概念の多様性エントロピー（CPE）は、概念の不確実性の程度を定量化するために策定されています。
決定論的概念のモデリングは、不確実な概念原子分布にアップグレードされます。
最後に、COEは、コンセプト回路をトレースすることにより、DVMSの意思決定プロセスの言語局所的な説明を自動的に有効にします。
GPT-4Oおよびヒトベースの実験は、CPEの有効性とCOEの優位性を示しており、説明可能性スコアの点で36％の平均絶対改善を達成しています。

要約(オリジナル)

Explainability is a critical factor influencing the wide deployment of deep vision models (DVMs). Concept-based post-hoc explanation methods can provide both global and local insights into model decisions. However, current methods in this field face challenges in that they are inflexible to automatically construct accurate and sufficient linguistic explanations for global concepts and local circuits. Particularly, the intrinsic polysemanticity in semantic Visual Concepts (VCs) impedes the interpretability of concepts and DVMs, which is underestimated severely. In this paper, we propose a Chain-of-Explanation (CoE) approach to address these issues. Specifically, CoE automates the decoding and description of VCs to construct global concept explanation datasets. Further, to alleviate the effect of polysemanticity on model explainability, we design a concept polysemanticity disentanglement and filtering mechanism to distinguish the most contextually relevant concept atoms. Besides, a Concept Polysemanticity Entropy (CPE), as a measure of model interpretability, is formulated to quantify the degree of concept uncertainty. The modeling of deterministic concepts is upgraded to uncertain concept atom distributions. Finally, CoE automatically enables linguistic local explanations of the decision-making process of DVMs by tracing the concept circuit. GPT-4o and human-based experiments demonstrate the effectiveness of CPE and the superiority of CoE, achieving an average absolute improvement of 36% in terms of explainability scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google