DCBM: Data-Efficient Visual Concept Bottleneck Models

要約

概念ボトルネックモデル（CBM）は、人間が理解可能な概念に基づいて予測を行うことで、ニューラルネットワークの解釈可能性を高める。しかし、現在のCBMは通常、大規模な言語モデルや膨大な画像コーパスから抽出された概念セットに依存しており、データが乏しいシナリオでの有効性が制限されている。我々は、解釈可能性を維持しつつ、概念生成時の大規模なサンプルサイズの必要性を低減する、データ効率の良いCBM（DCBM）を提案する。DCBMは、セグメンテーションまたは検出基礎モデルによって検出された画像領域として概念を定義し、各画像が異なる粒度にわたって複数の概念を生成することを可能にする。これにより、テキスト記述や大規模な事前学習への依存が取り除かれ、DCBMはきめ細かい分類や分布外タスクに適用可能となる。Grad-CAMを用いた帰属分析により、DCBMがテスト画像において局所化可能な視覚的概念を提供することが実証された。あらかじめ定義された概念ではなく、データセット固有の概念を活用することで、DCBMは新しいドメインへの適応性を高める。

要約(オリジナル)

Concept Bottleneck Models (CBMs) enhance the interpretability of neural networks by basing predictions on human-understandable concepts. However, current CBMs typically rely on concept sets extracted from large language models or extensive image corpora, limiting their effectiveness in data-sparse scenarios. We propose Data-efficient CBMs (DCBMs), which reduce the need for large sample sizes during concept generation while preserving interpretability. DCBMs define concepts as image regions detected by segmentation or detection foundation models, allowing each image to generate multiple concepts across different granularities. This removes reliance on textual descriptions and large-scale pre-training, making DCBMs applicable for fine-grained classification and out-of-distribution tasks. Attribution analysis using Grad-CAM demonstrates that DCBMs deliver visual concepts that can be localized in test images. By leveraging dataset-specific concepts instead of predefined ones, DCBMs enhance adaptability to new domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL