SurroCBM: Concept Bottleneck Surrogate Models for Generative Post-hoc Explanation

要約

Explainable AI は、ブラックボックス モデルの意思決定プロセスに光を当てることを目指しています。
従来の顕著性に基づく手法では、影響力のあるデータ セグメントを強調表示しますが、多くの場合、意味論的な理解が不足しています。
コンセプト アクティベーション ベクター (CAV) やコンセプト ボトルネック モデル (CBM) などの最近の進歩により、コンセプトに基づいた説明が提供されますが、人間が定義したコンセプトが必要になります。
ただし、人間が注釈を付けた概念を実現するにはコストがかかります。
この論文では、自動的に発見された概念を使用してブラック ボックス モデルを説明することを目的とした新しいフレームワークであるコンセプト ボトルネック サロゲート モデル (SurroCBM) を紹介します。
SurroCBM は、さまざまなブラックボックス モデルにわたる共通の固有の概念を特定し、事後の説明に説明可能なサロゲート モデルを採用します。
説明の質を継続的に向上させるために、自己生成データを使用した効果的なトレーニング戦略を提案します。
私たちは広範な実験を通じて、概念の発見と説明における SurroCBM の有効性を実証し、説明可能な AI 分野の進歩におけるその可能性を強調しています。

要約(オリジナル)

Explainable AI seeks to bring light to the decision-making processes of black-box models. Traditional saliency-based methods, while highlighting influential data segments, often lack semantic understanding. Recent advancements, such as Concept Activation Vectors (CAVs) and Concept Bottleneck Models (CBMs), offer concept-based explanations but necessitate human-defined concepts. However, human-annotated concepts are expensive to attain. This paper introduces the Concept Bottleneck Surrogate Models (SurroCBM), a novel framework that aims to explain the black-box models with automatically discovered concepts. SurroCBM identifies shared and unique concepts across various black-box models and employs an explainable surrogate model for post-hoc explanations. An effective training strategy using self-generated data is proposed to enhance explanation quality continuously. Through extensive experiments, we demonstrate the efficacy of SurroCBM in concept discovery and explanation, underscoring its potential in advancing the field of explainable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google