Extending CAM-based XAI methods for Remote Sensing Imagery Segmentation

要約

現在の AI ベースの方法では、利用されたデータ、抽出された特徴、予測/推論操作の理解可能な物理的解釈が提供されません。
その結果、高解像度の衛星画像を使用してトレーニングされた深層学習モデルは透明性と説明可能性に欠け、単なるブラックボックスとして見なされることがあり、広範なレベルでの採用が制限されます。
専門家は、AI モデルの複雑な動作とその基礎となる意思決定プロセスを理解するための支援を必要としています。
説明可能な人工知能 (XAI) 分野は、AI モデルの堅牢かつ実用的で信頼できる展開手段を提供する新興分野です。
画像分類タスク用にいくつかの XAI 手法が提案されていますが、画像セグメンテーションの解釈についてはほとんど解明されていないままです。
この論文では、最近の XAI 分類アルゴリズムを適応させ、それをマルチクラスの画像セグメンテーションに使用できるようにすることで、このギャップを埋めることを提案します。主に高解像度の衛星画像からの建物のセグメンテーションに焦点を当てます。
提案されたアプローチのパフォーマンスをベンチマークおよび比較するために、モデルの不確実性を測定するための「エントロピー」に基づく新しい XAI 評価方法論と測定基準を導入します。
従来の XAI 評価方法は主に、画像から対象領域を事前トレーニング済み (ユーティリティ) モデルに戻し、ターゲット クラスの確率の平均変化を計算することに依存しています。
これらの評価メトリクスには必要な堅牢性が欠けており、エントロピーを使用してターゲット クラス内のピクセルをセグメント化する際のモデルの不確実性を監視することがより適切であることを示します。
私たちは、この研究が画像セグメンテーションのためのさらなる XAI 研究とリモート センシング分野での応用への道を開くことを願っています。

要約(オリジナル)

Current AI-based methods do not provide comprehensible physical interpretations of the utilized data, extracted features, and predictions/inference operations. As a result, deep learning models trained using high-resolution satellite imagery lack transparency and explainability and can be merely seen as a black box, which limits their wide-level adoption. Experts need help understanding the complex behavior of AI models and the underlying decision-making process. The explainable artificial intelligence (XAI) field is an emerging field providing means for robust, practical, and trustworthy deployment of AI models. Several XAI techniques have been proposed for image classification tasks, whereas the interpretation of image segmentation remains largely unexplored. This paper offers to bridge this gap by adapting the recent XAI classification algorithms and making them usable for muti-class image segmentation, where we mainly focus on buildings’ segmentation from high-resolution satellite images. To benchmark and compare the performance of the proposed approaches, we introduce a new XAI evaluation methodology and metric based on ‘Entropy’ to measure the model uncertainty. Conventional XAI evaluation methods rely mainly on feeding area-of-interest regions from the image back to the pre-trained (utility) model and then calculating the average change in the probability of the target class. Those evaluation metrics lack the needed robustness, and we show that using Entropy to monitor the model uncertainty in segmenting the pixels within the target class is more suitable. We hope this work will pave the way for additional XAI research for image segmentation and applications in the remote sensing discipline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google