A model-agnostic approach for generating Saliency Maps to explain inferred decisions of Deep Learning Models

要約

ブラックボックス AI モデルが広く使用されるようになったことで、これらのモデルによって下された決定を説明するアルゴリズムと方法の必要性が高まっています。
近年、AI 研究コミュニティはモデルの説明可能性にますます関心を寄せています。これは、ブラック ボックス モデルがますます複雑で困難なタスクを引き継いでいるためです。
説明可能性は、コンピューター ビジョンを含むがこれに限定されない幅広いアプリケーションでディープ ラーニング技術が優勢であることを考えると、非常に重要になります。
ディープ ラーニング モデルの推論プロセスを理解する方向で、AI モデルの決定について人間が理解できる証拠を提供する多くの方法が開発されており、大部分はこれらのモデルの内部アーキテクチャとパラメーターへのアクセスに操作を依存しています (
たとえば、ニューラル ネットワークの重み)。
モデルの出力にのみアクセスでき、勾配などの追加情報を必要としない、顕著性マップを生成するためのモデルに依存しない方法を提案します。
差分進化 (DE) を使用して、モデルの意思決定プロセスで最も影響力のある画像ピクセルを特定し、モデル固有のアルゴリズムで作成された CAM の品質に匹敵する品質のクラス活性化マップ (CAM) を生成します。
DE-CAM は、計算の複雑さを犠牲にして、モデルのアーキテクチャの内部詳細にアクセスする必要なく、優れたパフォーマンスを実現します。

要約(オリジナル)

The widespread use of black-box AI models has raised the need for algorithms and methods that explain the decisions made by these models. In recent years, the AI research community is increasingly interested in models’ explainability since black-box models take over more and more complicated and challenging tasks. Explainability becomes critical considering the dominance of deep learning techniques for a wide range of applications, including but not limited to computer vision. In the direction of understanding the inference process of deep learning models, many methods that provide human comprehensible evidence for the decisions of AI models have been developed, with the vast majority relying their operation on having access to the internal architecture and parameters of these models (e.g., the weights of neural networks). We propose a model-agnostic method for generating saliency maps that has access only to the output of the model and does not require additional information such as gradients. We use Differential Evolution (DE) to identify which image pixels are the most influential in a model’s decision-making process and produce class activation maps (CAMs) whose quality is comparable to the quality of CAMs created with model-specific algorithms. DE-CAM achieves good performance without requiring access to the internal details of the model’s architecture at the cost of more computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google