Hierarchical Concept Discovery Models: A Concept Pyramid Scheme

要約

ディープラーニング（深層学習）アルゴリズムは、その素晴らしいパフォーマンスにより、最近大きな注目を集めている。しかし、その高い複雑性と解釈不可能な動作モードは、実世界のセーフティクリティカルなタスクへの確実な展開を妨げている。本研究では、その場限りの解釈可能性、特に概念ボトルネックモデル（CBM）を対象とする。我々の目標は、複数の粒度レベルにおいて、人間が理解可能な概念に関して高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。この目的を達成するために、(i)画像-テキストモデルにおける最近の進歩、(ii)データ駆動型かつスパース性を誘導するベイズ論法による複数レベルの概念選択のための革新的な定式化、を活用した新しい階層的概念発見定式化を提案する。この枠組みでは、概念情報は画像全体と一般的な非構造化概念との類似性だけに依存するのではなく、画像シーンのパッチ固有の領域に存在する、より詳細な概念情報を発見し利用するために、概念階層という概念を導入する。実験的に示すように、提案する構成は、最近のCBMアプローチを凌駕するだけでなく、インターペタビリティに向けた原理的なフレームワークをもたらす。

要約(オリジナル)

Deep Learning algorithms have recently gained significant attention due to their impressive performance. However, their high complexity and un-interpretable mode of operation hinders their confident deployment in real-world safety-critical tasks. This work targets ante hoc interpretability, and specifically Concept Bottleneck Models (CBMs). Our goal is to design a framework that admits a highly interpretable decision making process with respect to human understandable concepts, on multiple levels of granularity. To this end, we propose a novel hierarchical concept discovery formulation leveraging: (i) recent advances in image-text models, and (ii) an innovative formulation for multi-level concept selection via data-driven and sparsity inducing Bayesian arguments. Within this framework, concept information does not solely rely on the similarity between the whole image and general unstructured concepts; instead, we introduce the notion of concept hierarchy to uncover and exploit more granular concept information residing in patch-specific regions of the image scene. As we experimentally show, the proposed construction not only outperforms recent CBM approaches, but also yields a principled framework towards interpetability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL