Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR Data Classification

要約

ハイパースペクトル画像 (HSI) と LiDAR のデータ分類を組み合わせることで、地上の物体をより詳細かつ正確なレベルで解釈することができます。
ディープ ラーニング手法は、マルチソース データ分類タスクで目覚ましい成功を収めていますが、自己教師あり学習はほとんど検討されていません。
近隣領域の意味的類似性が既存の対照的な学習フレームワークでは利用されていないという事実により、マルチソース データ分類のための堅牢な自己教師あり学習モデルを構築することは、一般的に自明ではありません。
さらに、マルチソース データの一貫性のない分布によって引き起こされる不均一なギャップは、分類のパフォーマンスを妨げます。
これらの欠点を克服するために、識別機能表現を学習するために大量のラベルのないデータを最大限に活用する最近傍ベースの対照学習ネットワーク (NNCNet) を提案します。
具体的には、近隣地域間の強化されたセマンティック関係を使用するために、最近傍ベースのデータ拡張スキームを提案します。
インターモーダル セマンティック アラインメントは、より正確に捉えることができます。
さらに、HSI データと LiDAR データ間の 2 次および高次の特徴の相互作用を活用する双線形注意モジュールを設計します。
4 つの公開データセットでの広範な実験により、最先端の方法に対する NNCNet の優位性が実証されました。
ソース コードは、\url{https://github.com/summitgao/NNCNet} で入手できます。

要約(オリジナル)

The joint hyperspectral image (HSI) and LiDAR data classification aims to interpret ground objects at more detailed and precise level. Although deep learning methods have shown remarkable success in the multisource data classification task, self-supervised learning has rarely been explored. It is commonly nontrivial to build a robust self-supervised learning model for multisource data classification, due to the fact that the semantic similarities of neighborhood regions are not exploited in existing contrastive learning framework. Furthermore, the heterogeneous gap induced by the inconsistent distribution of multisource data impedes the classification performance. To overcome these disadvantages, we propose a Nearest Neighbor-based Contrastive Learning Network (NNCNet), which takes full advantage of large amounts of unlabeled data to learn discriminative feature representations. Specifically, we propose a nearest neighbor-based data augmentation scheme to use enhanced semantic relationships among nearby regions. The intermodal semantic alignments can be captured more accurately. In addition, we design a bilinear attention module to exploit the second-order and even high-order feature interactions between the HSI and LiDAR data. Extensive experiments on four public datasets demonstrate the superiority of our NNCNet over state-of-the-art methods. The source codes are available at \url{https://github.com/summitgao/NNCNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google