Sparse Linear Concept Discovery Models

要約

最近の DNN の大量採用は、安全性が重要なシナリオであっても、研究コミュニティの焦点を本質的に解釈できないモデルの作成に移しています。
コンセプト ボトルネック モデル (CBM) は、隠れ層を人間が理解できる概念に結びつけ、ネットワークの決定の調査と修正を可能にする一般的なアプローチを構成します。
ただし、CBM は通常、(i) パフォーマンスの低下、および (ii) 各決定に寄与する膨大な量の概念による解釈可能性の低下という問題に悩まされます。
この研究では、対照的言語イメージ モデルと単一の疎な線形層に基づいた、シンプルでありながら非常に直感的に解釈可能なフレームワークを提案します。
関連するアプローチとはまったく対照的に、私たちのフレームワークのスパース性は、データ駆動型のベルヌーイ分布を介して概念の存在を推論することにより、原則に基づいたベイジアン議論によって実現されます。
私たちが実験的に示したように、私たちのフレームワークは精度の点で最近の CBM アプローチよりも優れているだけでなく、例ごとに高い概念の疎性をもたらし、新たな概念の個別の調査を容易にします。

要約(オリジナル)

The recent mass adoption of DNNs, even in safety-critical scenarios, has shifted the focus of the research community towards the creation of inherently intrepretable models. Concept Bottleneck Models (CBMs) constitute a popular approach where hidden layers are tied to human understandable concepts allowing for investigation and correction of the network’s decisions. However, CBMs usually suffer from: (i) performance degradation and (ii) lower interpretability than intended due to the sheer amount of concepts contributing to each decision. In this work, we propose a simple yet highly intuitive interpretable framework based on Contrastive Language Image models and a single sparse linear layer. In stark contrast to related approaches, the sparsity in our framework is achieved via principled Bayesian arguments by inferring concept presence via a data-driven Bernoulli distribution. As we experimentally show, our framework not only outperforms recent CBM approaches accuracy-wise, but it also yields high per example concept sparsity, facilitating the individual investigation of the emerging concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google