Stochastic Concept Bottleneck Models

要約

コンセプト ボトルネック モデル (CBM) は、最終的な予測が生の入力ではなく、人間が理解できる中間的な概念に基づいている、有望な解釈可能な手法として浮上しています。
時間のかかる手動介入により、ユーザーは誤って予測された概念値を修正して、モデルの下流のパフォーマンスを向上させることができます。
私たちは、概念の依存関係をモデル化する新しいアプローチである確率的概念ボトルネック モデル (SCBM) を提案します。
SCBM では、単一概念の介入がすべての相関概念に影響を与えるため、介入の有効性が向上します。
自己回帰構造を介して概念関係をモデル化する以前のアプローチとは異なり、SCBM が CBM の効率的なトレーニングと推論手順を保持できるようにする明示的な分布パラメータ化を導入します。
さらに、パラメータ化を活用して、信頼領域に基づいて効果的な介入戦略を導き出します。
私たちは、合成表形式データセットと自然画像データセットで、私たちのアプローチが介入の有効性を大幅に向上させることを経験的に示しています。
特に、CLIP で推論された概念を使用した設定を調べることで、SCBM の多用途性と使いやすさを示し、手動による概念の注釈の必要性を軽減します。

要約(オリジナル)

Concept Bottleneck Models (CBMs) have emerged as a promising interpretable method whose final prediction is based on intermediate, human-understandable concepts rather than the raw input. Through time-consuming manual interventions, a user can correct wrongly predicted concept values to enhance the model’s downstream performance. We propose Stochastic Concept Bottleneck Models (SCBMs), a novel approach that models concept dependencies. In SCBMs, a single-concept intervention affects all correlated concepts, thereby improving intervention effectiveness. Unlike previous approaches that model the concept relations via an autoregressive structure, we introduce an explicit, distributional parameterization that allows SCBMs to retain the CBMs’ efficient training and inference procedure. Additionally, we leverage the parameterization to derive an effective intervention strategy based on the confidence region. We show empirically on synthetic tabular and natural image datasets that our approach improves intervention effectiveness significantly. Notably, we showcase the versatility and usability of SCBMs by examining a setting with CLIP-inferred concepts, alleviating the need for manual concept annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google