NN-Copula-CD: A Copula-Guided Interpretable Neural Network for Change Detection in Heterogeneous Remote Sensing Images

要約

異種リモートセンシング画像における変化検出 (CD) は、災害監視や土地利用管理に広く使用されています。
過去 10 年間、異種 CD 問題はディープ ニューラル ネットワーク (DNN) の開発から大きな恩恵を受けてきました。
ただし、純粋にデータ駆動型の DNN はブラック ボックスのように動作し、解釈可能性の欠如により、ほとんどの実際的な CD アプリケーションにおける DNN の信頼性と制御性が制限されます。
コピュラ理論は強力な知識主導型ツールとして、確率変数間の関係をモデル化する際に優れた性能を発揮します。
CD 用の既存のニューラル ネットワークの解釈可能性を高めるために、NN-Copula-CD と呼ばれるコピュラ誘導ニューラル ネットワークに基づく知識データ駆動型のヘテロジニアス CD 手法を提案します。
私たちの NN-Copula-CD では、コピュラの数学的特性を損失関数として使用してニューラル ネットワークを監視し、二時点の異種スーパーピクセル ペア間の依存関係を学習し、次数に基づいて二値分類によって変更された領域を特定します。
バイテンポラル画像内のすべてのスーパーピクセルペアの依存関係。
私たちは、光学画像、合成開口レーダー画像、マルチスペクトル画像、近赤外画像を含む異種画像を含む 3 つのデータセットに対して詳細な実験を実施します。定量的結果と視覚的結果の両方が、私たちが提案する NN-Copula-CD 法の有効性と解釈可能性の両方を示しています。

要約(オリジナル)

Change detection (CD) in heterogeneous remote sensing images has been widely used for disaster monitoring and land-use management. In the past decade, the heterogeneous CD problem has significantly benefited from the development of deep neural networks (DNNs). However, the purely data-driven DNNs perform like a black box where the lack of interpretability limits the trustworthiness and controllability of DNNs in most practical CD applications. As a powerful knowledge-driven tool, copula theory performs well in modeling relationships among random variables. To enhance the interpretability of existing neural networks for CD, we propose a knowledge-data-driven heterogeneous CD method based on a copula-guided neural network, named NN-Copula-CD. In our NN-Copula-CD, the mathematical characteristics of copula are employed as the loss functions to supervise a neural network to learn the dependence between bi-temporal heterogeneous superpixel pairs, and then the changed regions are identified via binary classification based on the degrees of dependence of all the superpixel pairs in the bi-temporal images. We conduct in-depth experiments on three datasets with heterogeneous images, including optical, synthetic aperture radar, multispectral, and near-infrared images, where both quantitative and visual results demonstrate both the effectiveness and interpretability of our proposed NN-Copula-CD method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google