Credible Remote Sensing Scene Classification Using Evidential Fusion on Aerial-Ground Dual-view Images

要約

単一のビューからのデータよりも包括的な情報を提供できるため、マルチビュー (マルチソース、マルチモーダル、マルチパースペクティブなど) のデータは、リモート センシング タスクでより頻繁に使用されています。
ただし、ビューの数が増えるにつれて、データ品質の問題がより明確になり、マルチビュー データの潜在的な利点が制限されます。
最近のディープ ニューラル ネットワーク (DNN) ベースのモデルはデータの重みを適応的に学習できますが、ビューを融合する際に各ビューのデータ品質を明示的に定量化する研究が不足しているため、これらのモデルは説明がつかず、下流のリモート センシング タスクで不十分で柔軟性に欠けます。
このギャップを埋めるために、このホワイト ペーパーでは、各ビューの信頼性をモデル化するために、証拠となるディープ ラーニングを空中/地上デュアル ビュー リモート センシング シーン分類のタスクに導入します。
具体的には、証拠の理論を使用して、各ビューの意思決定リスクを表す不確実性の値を計算します。
この不確実性に基づいて、新しい決定レベルの融合戦略が提案され、リスクの低いビューがより多くの重みを獲得し、分類がより信頼できるようになります。
空地デュアル ビュー リモート センシング画像の 2 つのよく知られた公開されているデータセットで、提案されたアプローチは最先端の結果を達成し、その有効性を実証します。
この記事のコードとデータセットは、https://github.com/gaopiaoliang/Evidential のアドレスで入手できます。

要約(オリジナル)

Due to their ability to offer more comprehensive information than data from a single view, multi-view (multi-source, multi-modal, multi-perspective, etc.) data are being used more frequently in remote sensing tasks. However, as the number of views grows, the issue of data quality becomes more apparent, limiting the potential benefits of multi-view data. Although recent deep neural network (DNN) based models can learn the weight of data adaptively, a lack of research on explicitly quantifying the data quality of each view when fusing them renders these models inexplicable, performing unsatisfactorily and inflexible in downstream remote sensing tasks. To fill this gap, in this paper, evidential deep learning is introduced to the task of aerial-ground dual-view remote sensing scene classification to model the credibility of each view. Specifically, the theory of evidence is used to calculate an uncertainty value which describes the decision-making risk of each view. Based on this uncertainty, a novel decision-level fusion strategy is proposed to ensure that the view with lower risk obtains more weight, making the classification more credible. On two well-known, publicly available datasets of aerial-ground dual-view remote sensing images, the proposed approach achieves state-of-the-art results, demonstrating its effectiveness. The code and datasets of this article are available at the following address: https://github.com/gaopiaoliang/Evidential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google