Pan-Mamba: Effective pan-sharpening with State Space Model

要約

パンシャープニングでは、低解像度のマルチスペクトル画像と高解像度のパンクロマティック画像からの情報を統合して、対応する高解像度のマルチスペクトル画像を生成します。
状態空間モデルの最近の進歩、特に Mamba によって実現された効率的な長距離依存関係モデリングは、コンピューター ビジョン コミュニティに革命をもたらしましたが、パンシャープニングにおけるその未開発の可能性が私たちの探索の動機となっています。
私たちの貢献である Pan-Mamba は、グローバル情報モデリングにおける Mamba モデルの効率を活用する新しいパンシャープニング ネットワークを表しています。
Pan-Mamba では、チャネル スワッピング Mamba とクロスモーダル Mamba という 2 つのコア コンポーネントをカスタマイズし、効率的なクロスモーダル情報交換と融合を実現するために戦略的に設計されています。
前者は部分的なパンクロマティック チャネルとマルチスペクトル チャネルの交換を通じて軽量のクロスモーダル インタラクションを開始し、後者は固有のクロスモーダル関係を利用することで情報表現機能を強化します。
多様なデータセットにわたる広範な実験を通じて、私たちが提案するアプローチは最先端の手法を超え、パンシャープニングにおける優れたフュージョン結果を示しています。
私たちの知る限り、この研究は Mamba モデルの可能性を探求する最初の試みであり、パンシャープニング技術の新たな境地を確立します。
ソース コードは https://github.com/alexhe101/Pan-Mamba で入手できます。

要約(オリジナル)

Pan-sharpening involves integrating information from lowresolution multi-spectral and high-resolution panchromatic images to generate high-resolution multi-spectral counterparts. While recent advancements in the state space model, particularly the efficient long-range dependency modeling achieved by Mamba, have revolutionized computer vision community, its untapped potential in pan-sharpening motivates our exploration. Our contribution, Pan-Mamba, represents a novel pansharpening network that leverages the efficiency of the Mamba model in global information modeling. In Pan-Mamba, we customize two core components: channel swapping Mamba and cross-modal Mamba, strategically designed for efficient cross-modal information exchange and fusion. The former initiates a lightweight cross-modal interaction through the exchange of partial panchromatic and multispectral channels, while the latter facilities the information representation capability by exploiting inherent cross-modal relationships. Through extensive experiments across diverse datasets, our proposed approach surpasses state-of-theart methods, showcasing superior fusion results in pan-sharpening. To the best of our knowledge, this work is the first attempt in exploring the potential of the Mamba model and establishes a new frontier in the pan-sharpening techniques. The source code is available at https://github.com/alexhe101/Pan-Mamba .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google