InfoDisent: Explainability of Image Classification Models by Information Disentanglement

要約

画像分類ネットワークによって行われた決定を理解することは、深層学習における重要な研究分野です。
このタスクは伝統的に、ポストホック メソッドと組み込みメソッドという 2 つの異なるアプローチに分けられます。
GradCam などのポストホック手法は、ネットワークが注目する画像の領域を特定することによって、事前トレーニングされたモデルの決定を解釈することを目的としています。
ただし、これらの方法は高レベルの概要のみを提供するため、ネットワークの意思決定プロセスを完全に理解することが困難になります。
逆に、プロトタイプの部品モデルなどの組み込みメソッドは、ネットワーク予測をより詳細に理解できますが、特定のアーキテクチャ、トレーニング方法、データセットによって制約されます。
このペーパーでは、両方のアプローチの利点を組み合わせたハイブリッド モデルである InfoDisent を紹介します。
InfoDisent は、情報ボトルネックを利用することで、事前トレーニングされたディープ ネットワークの最終層で情報のもつれを解き、分類の決定を基本的で理解可能な原子コンポーネントに分割できるようにします。
標準的なプロトタイプ部品のアプローチとは異なり、InfoDisent は事前トレーニングされた分類ネットワークの決定を解釈し、組み込みモデルと同様に分類の決定に使用できます。
畳み込みバックボーンとトランスフォーマー バックボーンの両方について、ImageNet、CUB-200-2011、Stanford Cars、Stanford Dogs などのベンチマーク データセットで InfoDisent の有効性を検証します。

要約(オリジナル)

Understanding the decisions made by image classification networks is a critical area of research in deep learning. This task is traditionally divided into two distinct approaches: post-hoc methods and intrinsic methods. Post-hoc methods, such as GradCam, aim to interpret the decisions of pre-trained models by identifying regions of the image where the network focuses its attention. However, these methods provide only a high-level overview, making it difficult to fully understand the network’s decision-making process. Conversely, intrinsic methods, like prototypical parts models, offer a more detailed understanding of network predictions but are constrained by specific architectures, training methods, and datasets. In this paper, we introduce InfoDisent, a hybrid model that combines the advantages of both approaches. By utilizing an information bottleneck, InfoDisent disentangles the information in the final layer of a pre-trained deep network, enabling the breakdown of classification decisions into basic, understandable atomic components. Unlike standard prototypical parts approaches, InfoDisent can interpret the decisions of pre-trained classification networks and be used for making classification decisions, similar to intrinsic models. We validate the effectiveness of InfoDisent on benchmark datasets such as ImageNet, CUB-200-2011, Stanford Cars, and Stanford Dogs for both convolutional and transformer backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google