Coarse-to-Fine Concept Bottleneck Models

要約

深層学習アルゴリズムは、その優れたパフォーマンスにより、最近大きな注目を集めています。
しかし、その高度な複雑さと解釈できない動作モードにより、現実世界の安全性が重要なタスクに自信を持って導入することが妨げられています。
この作業は、事前の解釈可能性、特にコンセプト ボトルネック モデル (CBM) を対象としています。
私たちの目標は、人間が理解できる概念に関して、2 つの粒度で高度に解釈可能な意思決定プロセスを可能にするフレームワークを設計することです。
この目的を達成するために、我々は、(i) ビジョン言語モデルの最近の進歩、および (ii) データ駆動型およびスパース性誘導による粗い概念から細かい概念への選択のための革新的な定式化を活用した、新しい 2 レベルの概念発見定式化を提案します。
ベイズ論。
このフレームワーク内では、概念情報は画像全体と一般的な非構造化概念との間の類似性にのみ依存するわけではありません。
代わりに、イメージ シーンのパッチ固有の領域に存在するより詳細な概念情報を明らかにして活用するために、概念階層の概念を導入します。
私たちが実験的に示したように、提案された構造は最近の CBM アプローチよりも優れているだけでなく、相互互換性を実現するための原則に基づいたフレームワークももたらします。

要約(オリジナル)

Deep learning algorithms have recently gained significant attention due to their impressive performance. However, their high complexity and un-interpretable mode of operation hinders their confident deployment in real-world safety-critical tasks. This work targets ante hoc interpretability, and specifically Concept Bottleneck Models (CBMs). Our goal is to design a framework that admits a highly interpretable decision making process with respect to human understandable concepts, on two levels of granularity. To this end, we propose a novel two-level concept discovery formulation leveraging: (i) recent advances in vision-language models, and (ii) an innovative formulation for coarse-to-fine concept selection via data-driven and sparsity-inducing Bayesian arguments. Within this framework, concept information does not solely rely on the similarity between the whole image and general unstructured concepts; instead, we introduce the notion of concept hierarchy to uncover and exploit more granular concept information residing in patch-specific regions of the image scene. As we experimentally show, the proposed construction not only outperforms recent CBM approaches, but also yields a principled framework towards interpetability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google