DEPICT: Diffusion-Enabled Permutation Importance for Image Classification Tasks

要約

我々は画像分類器に対する順列ベースの説明法を提案する。
アクティベーション マップのような現在の画像モデルの説明は、ピクセル空間内のインスタンスベースの説明に限定されているため、グローバル モデルの動作を理解することが困難になっています。
対照的に、表形式データ分類器の並べ替えベースの説明では、特徴を並べ替える前後のデータに対するモデルのパフォーマンスを比較することによって特徴の重要性を測定します。
我々は、データセット画像全体で解釈可能な概念を並べ替える画像ベースのモデルの説明方法を提案します。
キャプションなどの特定の概念でラベル付けされた画像のデータセットが与えられた場合、テキスト空間内のサンプル全体で概念を並べ替え、テキスト条件付き拡散モデルを介して画像を生成します。
特徴の重要性は、並べ替えられていないデータと比較したモデルのパフォーマンスの変化に反映されます。
この方法を一連の概念に適用すると、特徴の重要度のランキングが生成されます。
このアプローチにより、合成および現実世界の画像分類タスクにおける基礎となるモデル特徴の重要性が回復されることを示します。

要約(オリジナル)

We propose a permutation-based explanation method for image classifiers. Current image-model explanations like activation maps are limited to instance-based explanations in the pixel space, making it difficult to understand global model behavior. In contrast, permutation based explanations for tabular data classifiers measure feature importance by comparing model performance on data before and after permuting a feature. We propose an explanation method for image-based models that permutes interpretable concepts across dataset images. Given a dataset of images labeled with specific concepts like captions, we permute a concept across examples in the text space and then generate images via a text-conditioned diffusion model. Feature importance is then reflected by the change in model performance relative to unpermuted data. When applied to a set of concepts, the method generates a ranking of feature importance. We show this approach recovers underlying model feature importance on synthetic and real-world image classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google