A Holistic Approach to Unifying Automatic Concept Extraction and Concept Importance Estimation

要約

近年、概念ベースのアプローチが、人工ニューラル ネットワーク (ANN) の決定を解釈するのに役立つ最も有望な説明可能性手法の一部として登場しました。
これらの方法は、2 つの重要なステップ (1) 概念の抽出、続いて (2) 重要度の推定、という 2 つの重要なステップで、ANN 活性化の複雑なパターン内に埋もれたわかりやすい視覚的な「概念」を発見しようとします。
これら 2 つのステップはメソッド間で共通ですが、特定の実装ではすべて異なります。
ここでは、これら 2 つのステップを包括的に定義し、明確にする統一的な理論的枠組みを紹介します。
このフレームワークは、次のことを可能にするため、いくつかの利点を提供します。(i) 異なる概念抽出アプローチを比較するための新しい評価指標を提案する。
(ii) 最新のアトリビューション手法と評価指標を活用して、最先端の概念ベースのアプローチと重要度推定手法を拡張し、体系的に評価する。
(iii) かかる方法の最適性に関する理論的保証を導き出すこと。
さらにフレームワークを活用して、同様の共有戦略に基づいて分類されたデータ ポイントのクラスターを効率的に特定する方法という、説明可能性に関する重要な問題に取り組もうとします。
これらの結果を説明し、モデルの主な戦略を強調するために、戦略クラスター グラフと呼ばれる視覚的表現を導入します。
最後に、ImageNet データセットのすべてのクラスに対するこれらの視覚化の完全なコンパイルを提供する専用 Web サイト、https://serre-lab.github.io/Lens を紹介します。

要約(オリジナル)

In recent years, concept-based approaches have emerged as some of the most promising explainability methods to help us interpret the decisions of Artificial Neural Networks (ANNs). These methods seek to discover intelligible visual ‘concepts’ buried within the complex patterns of ANN activations in two key steps: (1) concept extraction followed by (2) importance estimation. While these two steps are shared across methods, they all differ in their specific implementations. Here, we introduce a unifying theoretical framework that comprehensively defines and clarifies these two steps. This framework offers several advantages as it allows us: (i) to propose new evaluation metrics for comparing different concept extraction approaches; (ii) to leverage modern attribution methods and evaluation metrics to extend and systematically evaluate state-of-the-art concept-based approaches and importance estimation techniques; (iii) to derive theoretical guarantees regarding the optimality of such methods. We further leverage our framework to try to tackle a crucial question in explainability: how to efficiently identify clusters of data points that are classified based on a similar shared strategy. To illustrate these findings and to highlight the main strategies of a model, we introduce a visual representation called the strategic cluster graph. Finally, we present https://serre-lab.github.io/Lens, a dedicated website that offers a complete compilation of these visualizations for all classes of the ImageNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google