Explain Any Concept: Segment Anything Meets Concept-Based Explanation

要約

EXPlainable AI (XAI) は、内部がブラックボックスであるディープ ニューラル ネットワーク (DNN) に対する人間の理解を向上させるために不可欠なトピックです。
コンピューター ビジョン タスクの場合、主流のピクセル ベースの XAI 手法は重要なピクセルを識別することで DNN の決定を説明し、新興のコンセプト ベースの XAI はコンセプト (画像内の頭など) を使って説明を形成することを検討します。
ただし、ピクセルは一般に解釈が難しく、XAI メソッドの不正確さの影響を受けやすいのに対し、従来の作品の「概念」は人間による注釈が必要か、事前定義された概念セットに限定されます。
一方、セグメント エニシング モデル (SAM) は、大規模な事前トレーニングによって推進され、正確かつ包括的なインスタンス セグメンテーションを実行するための強力で推進可能なフレームワークとして実証されており、特定のイメージからコンセプト セットを自動的に準備できます。
このペーパーでは、SAM を使用して概念ベースの XAI を強化することを初めて検討します。
私たちは、DNN の意思決定をあらゆる概念で説明する、効果的かつ柔軟な概念ベースの説明手法、つまり Explain Any Concept (EAC) を提供します。
SAM は非常に効果的で、「すぐに使える」インスタンスのセグメンテーションを提供しますが、事実上の XAI パイプラインに統合するとコストが高くなります。
そこで、我々は、サロゲートモデルによる効率的な説明を可能にする軽量の入力ごとの等価（PIE）スキームを提案します。
2 つの人気のあるデータセット (ImageNet と COCO) に対する私たちの評価は、一般的に使用される XAI 手法に対する EAC の非常に有望なパフォーマンスを示しています。

要約(オリジナル)

EXplainable AI (XAI) is an essential topic to improve human understanding of deep neural networks (DNNs) given their black-box internals. For computer vision tasks, mainstream pixel-based XAI methods explain DNN decisions by identifying important pixels, and emerging concept-based XAI explore forming explanations with concepts (e.g., a head in an image). However, pixels are generally hard to interpret and sensitive to the imprecision of XAI methods, whereas ‘concepts’ in prior works require human annotation or are limited to pre-defined concept sets. On the other hand, driven by large-scale pre-training, Segment Anything Model (SAM) has been demonstrated as a powerful and promotable framework for performing precise and comprehensive instance segmentation, enabling automatic preparation of concept sets from a given image. This paper for the first time explores using SAM to augment concept-based XAI. We offer an effective and flexible concept-based explanation method, namely Explain Any Concept (EAC), which explains DNN decisions with any concept. While SAM is highly effective and offers an ‘out-of-the-box’ instance segmentation, it is costly when being integrated into defacto XAI pipelines. We thus propose a lightweight per-input equivalent (PIE) scheme, enabling efficient explanation with a surrogate model. Our evaluation over two popular datasets (ImageNet and COCO) illustrate the highly encouraging performance of EAC over commonly-used XAI methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google