Visual Concept Connectome (VCC): Open World Concept Discovery and their Interlayer Connections in Deep Models

要約

ディープ ネットワーク モデルが学習した表現で何を捉えているかを理解することは、コンピューター ビジョンにおける基本的な課題です。
我々は、そのようなビジョンモデルを理解するための新しい方法論である Visual Concept Connectome (VCC) を提案します。これは、完全に教師なしの方法で、人間が解釈可能な概念とその層間接続を発見します。
私たちのアプローチは、層でのきめの細かい概念、すべての層にわたる接続の重み付けを同時に明らかにし、ネットワーク構造のグローバル分析（たとえば、階層概念アセンブリの分岐パターン）に修正できます。
これまでの研究では、単一層から解釈可能な概念を抽出し、分類への影響を調べる方法は得られましたが、ネットワーク アーキテクチャ全体にわたる多層概念の分析はできませんでした。
定量的および定性的な経験的結果は、画像分類の領域における VCC の有効性を示しています。
また、障害モード デバッグのアプリケーションに VCC を活用し、ディープ ネットワークのどこでエラーが発生しているかを明らかにします。

要約(オリジナル)

Understanding what deep network models capture in their learned representations is a fundamental challenge in computer vision. We present a new methodology to understanding such vision models, the Visual Concept Connectome (VCC), which discovers human interpretable concepts and their interlayer connections in a fully unsupervised manner. Our approach simultaneously reveals fine-grained concepts at a layer, connection weightings across all layers and is amendable to global analysis of network structure (e.g., branching pattern of hierarchical concept assemblies). Previous work yielded ways to extract interpretable concepts from single layers and examine their impact on classification, but did not afford multilayer concept analysis across an entire network architecture. Quantitative and qualitative empirical results show the effectiveness of VCCs in the domain of image classification. Also, we leverage VCCs for the application of failure mode debugging to reveal where mistakes arise in deep networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google