Self-supervised Vision Transformers for Joint SAR-optical Representation Learning

要約

自己監視学習（SSL）は、人間の注釈なしでタスクにとらわれない表現を学習できるため、リモートセンシングと地球観測に大きな関心を集めています。
リモートセンシングでの既存のSSL動作のほとんどは、ConvNetバックボーンを利用し、単一のモダリティに焦点を当てていますが、共同SAR-光学表現学習のためのビジョントランスフォーマー（ViT）の可能性を探ります。
入力画像の2つの拡張ビューから知識を抽出する最先端のSSLアルゴリズムであるDINOに基づいて、すべてのチャネルを統合された入力に連結することにより、SARと光学画像を組み合わせます。
続いて、データ拡張戦略として1つのモダリティのチャネルをランダムにマスクします。
トレーニング中、モデルには光学のみ、SARのみ、およびSAR光学画像のペアが供給され、モダリティ内表現とモダリティ内表現の両方が学習されます。
BigEarthNet-MMデータセットを使用した実験結果は、ViTバックボーンと提案されたマルチモーダルSSLアルゴリズムDINO-MMの両方の利点を示しています。

要約(オリジナル)

Self-supervised learning (SSL) has attracted much interest in remote sensing and earth observation due to its ability to learn task-agnostic representations without human annotation. While most of the existing SSL works in remote sensing utilize ConvNet backbones and focus on a single modality, we explore the potential of vision transformers (ViTs) for joint SAR-optical representation learning. Based on DINO, a state-of-the-art SSL algorithm that distills knowledge from two augmented views of an input image, we combine SAR and optical imagery by concatenating all channels to a unified input. Subsequently, we randomly mask out channels of one modality as a data augmentation strategy. While training, the model gets fed optical-only, SAR-only, and SAR-optical image pairs learning both inner- and intra-modality representations. Experimental results employing the BigEarthNet-MM dataset demonstrate the benefits of both, the ViT backbones and the proposed multimodal SSL algorithm DINO-MM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google