Extending CAM-based XAI methods for Remote Sensing Imagery Segmentation

要約

現在のAIベースの手法は、利用されたデータ、抽出された特徴、予測/推論操作の理解しやすい物理的解釈を提供しない。その結果、高解像度の衛星画像を用いて学習されたディープラーニング・モデルは、透明性に欠け、説明不可能であり、単にブラックボックスとして見られるだけである。専門家は、AIモデルの複雑な挙動とその根底にある意思決定プロセスを理解する手助けを必要としている。説明可能な人工知能（XAI）分野は、ロバストで実用的かつ信頼できるAIモデルの展開手段を提供する新興分野である。画像分類タスクについては、いくつかのXAI技術が提案されているが、画像分割の解釈についてはほとんど未解明のままである。本論文では、最近のXAI分類アルゴリズムを適応させ、高解像度衛星画像からの建物のセグメンテーションを中心とした、マルチクラス画像セグメンテーションに使用できるようにすることで、このギャップを埋めることを提案する。提案手法の性能をベンチマークし比較するために、モデルの不確実性を測定するための「エントロピー」に基づく新しいXAI評価手法と評価指標を導入する。従来のXAI評価手法は、主に画像から関心領域を事前学習済み（ユーティリティ）モデルにフィードバックし、ターゲットクラスの確率の平均変化を計算することに依存している。これらの評価指標は必要なロバスト性を欠いており、我々は、ターゲットクラス内のピクセルをセグメンテーションする際のモデルの不確実性を監視するためにエントロピーを使用することがより適していることを示す。この研究が、リモートセンシング分野における画像セグメンテーションとアプリケーションのための、さらなるXAI研究の道を開くことを期待している。

要約(オリジナル)

Current AI-based methods do not provide comprehensible physical interpretations of the utilized data, extracted features, and predictions/inference operations. As a result, deep learning models trained using high-resolution satellite imagery lack transparency and explainability and can be merely seen as a black box, which limits their wide-level adoption. Experts need help understanding the complex behavior of AI models and the underlying decision-making process. The explainable artificial intelligence (XAI) field is an emerging field providing means for robust, practical, and trustworthy deployment of AI models. Several XAI techniques have been proposed for image classification tasks, whereas the interpretation of image segmentation remains largely unexplored. This paper offers to bridge this gap by adapting the recent XAI classification algorithms and making them usable for muti-class image segmentation, where we mainly focus on buildings’ segmentation from high-resolution satellite images. To benchmark and compare the performance of the proposed approaches, we introduce a new XAI evaluation methodology and metric based on ‘Entropy’ to measure the model uncertainty. Conventional XAI evaluation methods rely mainly on feeding area-of-interest regions from the image back to the pre-trained (utility) model and then calculating the average change in the probability of the target class. Those evaluation metrics lack the needed robustness, and we show that using Entropy to monitor the model uncertainty in segmenting the pixels within the target class is more suitable. We hope this work will pave the way for additional XAI research for image segmentation and applications in the remote sensing discipline.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL