Revealing Similar Semantics Inside CNNs: An Interpretable Concept-based Comparison of Feature Spaces

要約

安全性が重要なアプリケーションでは、人工知能 (AI) コンポーネントの透明性が必要ですが、認識タスクに広く使用されている畳み込みニューラル ネットワーク (CNN) には、固有の解釈可能性が欠けています。
したがって、CNN が何を学習したかについての洞察は、主にパフォーマンス メトリクスに基づいています。これは、これらにより、アーキテクチャ間の CNN 比較などが可能になるからです。
しかし、これらは知識が内部にどのように保存されるかを無視しています。
この未解決の問題に取り組むために、私たちの研究では、CNN 潜在空間内の意味情報間の層ごとの類似性を推定するための 2 つの方法を提案しています。
これらにより、CNN レイヤー内のセマンティック情報の流れと類似性、および異なるネットワーク アーキテクチャ間のそれらの類似性の程度についての洞察が可能になります。
基礎として、概念活性化ベクトル、つまり潜在空間内のグローバル ベクトル表現を取得するために使用される 2 つの有名な説明可能な人工知能 (XAI) 技術を使用します。
これらは、テスト入力でのアクティブ化に関して比較されます。
3 つの多様なオブジェクト検出器と 2 つのデータセットに適用した場合、私たちの方法は、(1) CNN アーキテクチャに関係なく同様の意味概念が学習されること、(2) 層の総数に関係なく、同様の相対的な層の深さで同様の概念が出現することを明らかにします。
最後に、私たちのアプローチは、セマンティック モデルの比較可能性と、さまざまな CNN がセマンティック情報をどのように処理するかを理解するための有望な一歩をもたらします。

要約(オリジナル)

Safety-critical applications require transparency in artificial intelligence (AI) components, but widely used convolutional neural networks (CNNs) widely used for perception tasks lack inherent interpretability. Hence, insights into what CNNs have learned are primarily based on performance metrics, because these allow, e.g., for cross-architecture CNN comparison. However, these neglect how knowledge is stored inside. To tackle this yet unsolved problem, our work proposes two methods for estimating the layer-wise similarity between semantic information inside CNN latent spaces. These allow insights into both the flow and likeness of semantic information within CNN layers, and into the degree of their similarity between different network architectures. As a basis, we use two renowned explainable artificial intelligence (XAI) techniques, which are used to obtain concept activation vectors, i.e., global vector representations in the latent space. These are compared with respect to their activation on test inputs. When applied to three diverse object detectors and two datasets, our methods reveal that (1) similar semantic concepts are learned regardless of the CNN architecture, and (2) similar concepts emerge in similar relative layer depth, independent of the total number of layers. Finally, our approach poses a promising step towards semantic model comparability and comprehension of how different CNNs process semantic information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google