NN-Copula-CD: A Copula-Guided Interpretable Neural Network for Change Detection in Heterogeneous Remote Sensing Images

要約

異種のリモート センシング画像の変化検出 (CD) は、現実の緊急事態における実用的で困難な問題です。
過去 10 年間、異種 CD の問題は、ディープ ニューラル ネットワーク (DNN) の開発から大きな恩恵を受けてきました。
ただし、データ駆動型 DNN は常にブラック ボックスのように機能し、ほとんどの実用的な CD アプリケーションでは、解釈可能性の欠如によって DNN の信頼性と制御可能性が制限されます。
確率変数間の相関を測定するための強力な知識駆動型ツールとして、コピュラ理論が CD に導入されましたが、コピュラ関数を手動で事前に選択しないと、CD のパフォーマンスが不安定になるという問題があります。
上記の問題に対処するために、コピュラに導かれた解釈可能なニューラル ネットワークに基づく、知識データ駆動型の異種 CD 法 (NN-Copula-CD) を提案します。
私たちの NN-Copula-CD では、コピュラの数学的特性は、バイテンポラル画像パッチ間の相関を学習するためにシンプルな完全に接続されたニューラル ネットワークを監視するための損失として設計されています。
バイテンポラル イメージのすべてのイメージ パッチ ペアの係数。
マルチモーダル画像 (光学、SAR、NIR など) を使用して 3 つのデータセットで詳細な実験を行い、定量的な結果と視覚化された分析により、提案された NN-Copula-CD の有効性と解釈可能性の両方が実証されます。

要約(オリジナル)

Change detection (CD) in heterogeneous remote sensing images is a practical and challenging issue for real-life emergencies. In the past decade, the heterogeneous CD problem has significantly benefited from the development of deep neural networks (DNN). However, the data-driven DNNs always perform like a black box where the lack of interpretability limits the trustworthiness and controllability of DNNs in most practical CD applications. As a strong knowledge-driven tool to measure correlation between random variables, Copula theory has been introduced into CD, yet it suffers from non-robust CD performance without manual prior selection for Copula functions. To address the above issues, we propose a knowledge-data-driven heterogeneous CD method (NN-Copula-CD) based on the Copula-guided interpretable neural network. In our NN-Copula-CD, the mathematical characteristics of Copula are designed as the losses to supervise a simple fully connected neural network to learn the correlation between bi-temporal image patches, and then the changed regions are identified via binary classification for the correlation coefficients of all image patch pairs of the bi-temporal images. We conduct in-depth experiments on three datasets with multimodal images (e.g., Optical, SAR, and NIR), where the quantitative results and visualized analysis demonstrate both the effectiveness and interpretability of the proposed NN-Copula-CD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google