Transformer-based Multi-Modal Learning for Multi Label Remote Sensing Image Classification

要約

本論文では、リモートセンシング（RS）画像のマルチモーダル・マルチラベル分類（MLC）の枠組みにおいて、新しい同期クラストークン融合（SCT Fusion）アーキテクチャを紹介する。提案するアーキテクチャは、モダリティに特化した注意力ベースのトランスフォーマーエンコーダーを活用し、様々な入力モダリティを処理する一方で、各トランスフォーマーエンコーダーブロックの後に特別なクラストークンを同期させることによりモダリティ間で情報を交換する。この同期化には、クラス・トークンを訓練可能な融合変換で融合させ、すべてのモダリティからの情報を含む同期化クラス・トークンを生成することが含まれます。融合変換は訓練可能であるため、異なるモダリティ間で共有される特徴を正確に表現することが可能である。実験により、マルチモダルのMLCデータセットで評価した結果、単一モダリティアーキテクチャと早期融合マルチモダリティアーキテクチャに対する提案アーキテクチャの有効性が示された。 提案アーキテクチャのコードは、https://git.tu-berlin.de/rsim/sct-fusion で公開されています。

要約(オリジナル)

In this paper, we introduce a novel Synchronized Class Token Fusion (SCT Fusion) architecture in the framework of multi-modal multi-label classification (MLC) of remote sensing (RS) images. The proposed architecture leverages modality-specific attention-based transformer encoders to process varying input modalities, while exchanging information across modalities by synchronizing the special class tokens after each transformer encoder block. The synchronization involves fusing the class tokens with a trainable fusion transformation, resulting in a synchronized class token that contains information from all modalities. As the fusion transformation is trainable, it allows to reach an accurate representation of the shared features among different modalities. Experimental results show the effectiveness of the proposed architecture over single-modality architectures and an early fusion multi-modal architecture when evaluated on a multi-modal MLC dataset. The code of the proposed architecture is publicly available at https://git.tu-berlin.de/rsim/sct-fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL