Trainable Noise Model as an XAI evaluation method: application on Sobol for remote sensing image segmentation

要約

eXplainable人工知能（XAI）は、ミッションクリティカルなアプリケーションを扱う際に不可欠な要件として浮上しており、採用されたブラックボックスAIモデルの透明性と解釈可能性を確保している。XAIの重要性は、ディープラーニングアルゴリズムの意思決定プロセスを理解することが不可欠なヘルスケアから金融まで、様々な領域に及んでいる。したがって、画像処理におけるディープニューラルネットワークの説明可能性を提供することは、医療画像解析、自律走行、リモートセンシングのアプリケーションに広く採用され、展開される上で極めて重要である。近年、画像分類タスクのためのいくつかのXAI手法が導入されている。一方、画像セグメンテーションは、コンピュータビジョンアプリケーション、特にリモートセンシングにおいて基本的なタスクであるにもかかわらず、説明可能性の文脈では比較的注目されていない。画像セグメンテーションのための勾配ベースのXAIアルゴリズムを提案する研究があるのみである。本稿では、最近の勾配を用いないSobol XAI法をセマンティックセグメンテーションに適用する。Sobol法のセグメンテーション性能を測定するために、学習可能なノイズモデルに基づく定量的XAI評価法を提案する。このモデルの主な目的は、説明マップにノイズを誘導することであり、誘導されたノイズが大きいほど精度が低いことを意味し、逆もまた同様である。Seg-Grad-CAM、Seg-Grad-CAM++、Seg-Sobolを含む3つのXAI手法の性能を、提案するノイズベースの評価手法を用いて評価・比較するためのベンチマーク分析を行う。これは、高解像度の衛星画像を用いてXAI手法を実行し評価する初めての試みである。

要約(オリジナル)

eXplainable Artificial Intelligence (XAI) has emerged as an essential requirement when dealing with mission-critical applications, ensuring transparency and interpretability of the employed black box AI models. The significance of XAI spans various domains, from healthcare to finance, where understanding the decision-making process of deep learning algorithms is essential. Most AI-based computer vision models are often black boxes; hence, providing explainability of deep neural networks in image processing is crucial for their wide adoption and deployment in medical image analysis, autonomous driving, and remote sensing applications. Recently, several XAI methods for image classification tasks have been introduced. On the contrary, image segmentation has received comparatively less attention in the context of explainability, although it is a fundamental task in computer vision applications, especially in remote sensing. Only some research proposes gradient-based XAI algorithms for image segmentation. This paper adapts the recent gradient-free Sobol XAI method for semantic segmentation. To measure the performance of the Sobol method for segmentation, we propose a quantitative XAI evaluation method based on a learnable noise model. The main objective of this model is to induce noise on the explanation maps, where higher induced noise signifies low accuracy and vice versa. A benchmark analysis is conducted to evaluate and compare performance of three XAI methods, including Seg-Grad-CAM, Seg-Grad-CAM++ and Seg-Sobol using the proposed noise-based evaluation technique. This constitutes the first attempt to run and evaluate XAI methods using high-resolution satellite images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL