Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models

要約

コンセプト ボトルネック モデル (CBM) は、人間が理解できる概念に基づいてイメージを分類し、解釈可能なモデルの決定を可能にします。
重要なのは、CBM 設計では本質的に人間の介入が可能であり、熟練ユーザーには、解釈可能な方法でモデルの意思決定動作に影響を与えるために、潜在的にずれている概念の選択を修正する機能が与えられます。
ただし、既存のアプローチでは、優れたパフォーマンスを達成するために画像ごとに多数の人間の介入が必要になることが多く、人間によるフィードバックの取得にコストがかかるシナリオでは実用的な課題が生じます。
この論文では、これが介入中の概念の独立した扱いによって著しく促進されており、1 つの概念の変更はモデルの最終決定における他の概念の使用に影響を与えないことを発見しました。
この問題に対処するために、概念関係を利用して介入後に概念割り当てを再調整する、訓練可能な概念介入再調整モジュールを導入します。
標準的な現実世界のベンチマーク全体で、概念の再調整により介入の有効性が大幅に向上することがわかりました。
目標の分類パフォーマンスまたは概念予測精度に到達するために必要な介入の数を大幅に削減します。
さらに、モデル自体を変更することなく、既存の概念ベースのアーキテクチャに簡単に統合できます。
このヒューマン モデルとコラボレーションのコスト削減は、リソースに制約のある環境で CBM の実現可能性を高めるために非常に重要です。

要約(オリジナル)

Concept Bottleneck Models (CBMs) ground image classification on human-understandable concepts to allow for interpretable model decisions. Crucially, the CBM design inherently allows for human interventions, in which expert users are given the ability to modify potentially misaligned concept choices to influence the decision behavior of the model in an interpretable fashion. However, existing approaches often require numerous human interventions per image to achieve strong performances, posing practical challenges in scenarios where obtaining human feedback is expensive. In this paper, we find that this is noticeably driven by an independent treatment of concepts during intervention, wherein a change of one concept does not influence the use of other ones in the model’s final decision. To address this issue, we introduce a trainable concept intervention realignment module, which leverages concept relations to realign concept assignments post-intervention. Across standard, real-world benchmarks, we find that concept realignment can significantly improve intervention efficacy; significantly reducing the number of interventions needed to reach a target classification performance or concept prediction accuracy. In addition, it easily integrates into existing concept-based architectures without requiring changes to the models themselves. This reduced cost of human-model collaboration is crucial to enhancing the feasibility of CBMs in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google