Unsupervised multi-branch Capsule for Hyperspectral and LiDAR classification

要約

リモートセンシングデータの利便性に伴い、複雑なリモートセンシングデータを解釈するためのモデルをどのように作成するかが注目されている。リモートセンシングデータのうち、ハイパースペクトル画像にはスペクトル情報が、LiDAR には標高情報が含まれている。したがって、異なるソースデータの特徴をより良く融合させるためのさらなる研究が必要である。本論文では、2つの異なるソースからのデータを動的に融合するために意味理解を導入し、異なるカプセルネットワーク分岐を通してHSIとLiDARの特徴を抽出し、高次元の状況に対してCanonical Capsuleの自己教師付き損失とランダム剛体回転を改善したものである。Canonical Capsuleは順列等変注目によってオブジェクトのカプセル分解を計算し、そのプロセスはランダムに回転させたオブジェクトのペアを訓練することによって自己教師化される。HSIとLiDARの特徴を意味的に理解して融合した後、教師なしでのスペクトル-空間-標高の融合特徴の抽出を実現する。HSIとLiDARを融合した2つの実例を用いた実験結果から、提案する多枝高次元正準カプセルアルゴリズムが、HSIとLiDARの意味理解に有効であることが示された。これは、マルチソースRSデータの教師なし抽出のための既存のモデルとは異なり、HSIとLiDARデータの特徴を効果的に抽出できることを示している。

要約(オリジナル)

With the convenient availability of remote sensing data, how to make models to interpret complex remote sensing data attracts wide attention. In remote sensing data, hyperspectral images contain spectral information and LiDAR contains elevation information. Hence, more explorations are warranted to better fuse the features of different source data. In this paper, we introduce semantic understanding to dynamically fuse data from two different sources, extract features of HSI and LiDAR through different capsule network branches and improve self-supervised loss and random rigid rotation in Canonical Capsule to a high-dimensional situation. Canonical Capsule computes the capsule decomposition of objects by permutation-equivariant attention and the process is self-supervised by training pairs of randomly rotated objects. After fusing the features of HSI and LiDAR with semantic understanding, the unsupervised extraction of spectral-spatial-elevation fusion features is achieved. With two real-world examples of HSI and LiDAR fused, the experimental results show that the proposed multi-branch high-dimensional canonical capsule algorithm can be effective for semantic understanding of HSI and LiDAR. It indicates that the model can extract HSI and LiDAR data features effectively as opposed to existing models for unsupervised extraction of multi-source RS data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL