Uncovering Unique Concept Vectors through Latent Space Decomposition

要約

深層学習モデルの内部動作を解釈することは、信頼を確立し、モデルの安全性を確保するために重要です。
概念ベースの説明は、ピクセル顕著性などの特徴属性推定よりも解釈しやすい優れたアプローチとして浮上しています。
しかし、解釈可能性分析のための概念を定義すると、その概念に対するユーザーの期待によって説明に偏りが生じます。
これに対処するために、トレーニング中にディープ モデルによって学習された概念を自動的に明らかにする、新しいポストホック教師なし手法を提案します。
レイヤーの潜在空間を特異ベクトルに分解し、教師なしクラスタリングによってそれらを洗練することにより、モデル予測に関連し、意味的に異なる概念を指す、高分散の方向に整列した概念ベクトルが明らかになります。
私たちの広範な実験により、私たちの概念の大部分は人間にとって容易に理解でき、一貫性を示し、当面のタスクとの関連性があることが明らかになりました。
さらに、データセット探索におけるこの手法の実際的な有用性を紹介します。この場合、概念ベクトルは、さまざまな交絡因子の影響を受ける外れ値トレーニング サンプルを首尾よく特定します。
この新しい探索手法は、データ型とモデル アーキテクチャに対して驚くべき多用途性を備えており、トレーニング データ内のバイアスの特定とエラーの原因の発見を容易にします。

要約(オリジナル)

Interpreting the inner workings of deep learning models is crucial for establishing trust and ensuring model safety. Concept-based explanations have emerged as a superior approach that is more interpretable than feature attribution estimates such as pixel saliency. However, defining the concepts for the interpretability analysis biases the explanations by the user’s expectations on the concepts. To address this, we propose a novel post-hoc unsupervised method that automatically uncovers the concepts learned by deep models during training. By decomposing the latent space of a layer in singular vectors and refining them by unsupervised clustering, we uncover concept vectors aligned with directions of high variance that are relevant to the model prediction, and that point to semantically distinct concepts. Our extensive experiments reveal that the majority of our concepts are readily understandable to humans, exhibit coherency, and bear relevance to the task at hand. Moreover, we showcase the practical utility of our method in dataset exploration, where our concept vectors successfully identify outlier training samples affected by various confounding factors. This novel exploration technique has remarkable versatility to data types and model architectures and it will facilitate the identification of biases and the discovery of sources of error within training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google