RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing

要約

リモート センシング画像かすみ除去 (RSID) は、不均一で物理的に不規則なかすみ要因を除去して、高品質の画像を復元することを目的としています。
CNN とトランスフォーマーの出現により、RSID 分野では驚くべき進歩が見られました。
ただし、これらの方法では、適切な長距離依存関係モデリングと計算効率の維持のバランスを実証するのに苦労することがよくあります。
この目的を達成するために、我々は RSID の分野で RSDhamba と呼ばれるマンバベースのモデル上の最初の軽量ネットワークを提案します。
線形複雑性とリモート依存関係のモデリングにおける優れたパフォーマンスのため、最近の選択的状態空間モデル (SSM) の台頭から大きくインスピレーションを受けて設計された RSDehamba は、SSM フレームワークを U-Net アーキテクチャに統合します。
具体的には、ネットワーク全体のコア コンポーネントとして Vision Dehamba Block (VDB) を提案します。これは、SSM の線形複雑性を利用して、グローバル コンテキスト エンコーディングの機能を実現します。
同時に、方向認識スキャン モジュール (DSM) は、さまざまな方向ドメインにわたる特徴交換を動的に集約して、空間的に変化するヘイズの分布を検知する柔軟性を効果的に強化するように設計されています。
このようにして、当社の RSDhamba は、ヘイズ特徴をより適切に抽出するための空間距離キャプチャ依存性とチャネル情報交換の優位性を十分に実証します。
広く使用されているベンチマークに関する広範な実験結果により、既存の最先端の手法に対する RSDehamba のパフォーマンスが優れていることが検証されています。

要約(オリジナル)

Remote sensing image dehazing (RSID) aims to remove nonuniform and physically irregular haze factors for high-quality image restoration. The emergence of CNNs and Transformers has taken extraordinary strides in the RSID arena. However, these methods often struggle to demonstrate the balance of adequate long-range dependency modeling and maintaining computational efficiency. To this end, we propose the first lightweight network on the mamba-based model called RSDhamba in the field of RSID. Greatly inspired by the recent rise of Selective State Space Model (SSM) for its superior performance in modeling linear complexity and remote dependencies, our designed RSDehamba integrates the SSM framework into the U-Net architecture. Specifically, we propose the Vision Dehamba Block (VDB) as the core component of the overall network, which utilizes the linear complexity of SSM to achieve the capability of global context encoding. Simultaneously, the Direction-aware Scan Module (DSM) is designed to dynamically aggregate feature exchanges over different directional domains to effectively enhance the flexibility of sensing the spatially varying distribution of haze. In this way, our RSDhamba fully demonstrates the superiority of spatial distance capture dependencies and channel information exchange for better extraction of haze features. Extensive experimental results on widely used benchmarks validate the surpassing performance of our RSDehamba against existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google