GCPV: Guided Concept Projection Vectors for the Explainable Inspection of CNN Feature Spaces

要約

コンピューター ビジョンの畳み込みディープ ニューラル ネットワーク (CNN) のデバッグと検証には、学習された潜在表現を人間が検査することが不可欠です。
したがって、最先端の eXplainable Artificial Intelligence (XAI) メソッドは、手動検査をサポートする CNN 潜在空間内の表現ベクトルまたは領域に、指定された自然言語の意味概念をグローバルに関連付けます。
しかし、このアプローチには 2 つの大きな欠点があります。概念ラベルを再構築するときに局所的に不正確であることと、概念インスタンス表現の分布に関する情報が破棄されることです。
ただし、後者は、外れ値の発見と理解、下位概念の学習概念、概念の混乱など、デバッグにとって特に興味深いものです。
さらに、現在の単層アプローチでは、概念に関する情報が CNN の深度全体に広がる可能性があることが無視されています。
これらの欠点を克服するために、ローカルからグローバルへの誘導概念投影ベクトル (GCPV) アプローチを導入します。これは、(1) それぞれが概念セグメンテーション ラベルを正確に再構築するローカル概念ベクトルを生成し、次に (2) これらをグローバル概念に一般化し、
階層的クラスタリングによるサブ概念ベクトルさえも。
物体検出器に関する私たちの実験では、最先端のものと比較してパフォーマンスが向上していること、多層概念ベクトルの利点、低品質の概念セグメンテーション ラベルに対する堅牢性が実証されています。
最後に、バスやトラックなどの概念の混乱の根本原因を見つけるために GCPV を適用できることを実証し、興味深い概念レベルの外れ値を明らかにします。
したがって、GCPV は、解釈可能なモデルのデバッグと情報に基づいたデータの改善に向けた有望な一歩となります。

要約(オリジナル)

For debugging and verification of computer vision convolutional deep neural networks (CNNs) human inspection of the learned latent representations is imperative. Therefore, state-of-the-art eXplainable Artificial Intelligence (XAI) methods globally associate given natural language semantic concepts with representing vectors or regions in the CNN latent space supporting manual inspection. Yet, this approach comes with two major disadvantages: They are locally inaccurate when reconstructing a concept label and discard information about the distribution of concept instance representations. The latter, though, is of particular interest for debugging, like finding and understanding outliers, learned notions of sub-concepts, and concept confusion. Furthermore, current single-layer approaches neglect that information about a concept may be spread over the CNN depth. To overcome these shortcomings, we introduce the local-to-global Guided Concept Projection Vectors (GCPV) approach: It (1) generates local concept vectors that each precisely reconstruct a concept segmentation label, and then (2) generalizes these to global concept and even sub-concept vectors by means of hiearchical clustering. Our experiments on object detectors demonstrate improved performance compared to the state-of-the-art, the benefit of multi-layer concept vectors, and robustness against low-quality concept segmentation labels. Finally, we demonstrate that GCPVs can be applied to find root causes for confusion of concepts like bus and truck, and reveal interesting concept-level outliers. Thus, GCPVs pose a promising step towards interpretable model debugging and informed data improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google