RD-UIE: Relation-Driven State Space Modeling for Underwater Image Enhancement

要約

水中画像強調(UIE)は、波長依存の減衰が深刻なコンテンツ劣化や色歪みを引き起こす海洋ビジョンアプリケーションにとって重要な前処理ステップである。Mambaのような最近の状態空間モデルは、長距離依存性モデリングの可能性を示す一方で、1次元シーケンスに対する展開操作と固定スキャン経路は、局所的なオブジェクト意味論と大域的な関係モデリングに適応できず、複雑な水中環境における有効性を制限している。この問題に対処するため、我々は従来のMambaを、全画素の空間相関の統計的分布に基づいて動的に走査順序を変更するソートベースの走査機構で強化する。これにより、ネットワークが最も情報量の多い構成要素（構造的特徴と意味的特徴）を優先するよう促す。このメカニズムを構築した上で、我々は視覚的自己適応状態ブロック（VSSB）を考案し、マンバの動的並べ替えを入力依存の動的畳み込みと調和させ、グローバルな文脈とローカルな関係性の手がかりの首尾一貫した統合を可能にする。この絶妙な設計は、特に広範囲に分散したコンテンツに対して、統計的頻度を大幅に弱めるグローバルフォーカスバイアスを排除するのに役立つ。ロバストな特徴抽出と精密化のために、マルチスケール表現を適応的に融合するためのクロスフィーチャブリッジ（CFB）を設計する。これらの取り組みにより、効果的なUIEのための新しい関係駆動型マンバフレームワーク（RD-UIE）が構成される。水中エンハンスメントベンチマークを用いた広範な実験により、RD-UIEは、定量的指標と視覚的忠実度の両方において、最先端のアプローチであるWMambaを上回り、3つのベンチマークで平均0.55dBの性能向上を達成することが実証された。我々のコードは https://github.com/kkoucy/RD-UIE/tree/main で利用可能です。

要約(オリジナル)

Underwater image enhancement (UIE) is a critical preprocessing step for marine vision applications, where wavelength-dependent attenuation causes severe content degradation and color distortion. While recent state space models like Mamba show potential for long-range dependency modeling, their unfolding operations and fixed scan paths on 1D sequences fail to adapt to local object semantics and global relation modeling, limiting their efficacy in complex underwater environments. To address this, we enhance conventional Mamba with the sorting-based scanning mechanism that dynamically reorders scanning sequences based on statistical distribution of spatial correlation of all pixels. In this way, it encourages the network to prioritize the most informative components–structural and semantic features. Upon building this mechanism, we devise a Visually Self-adaptive State Block (VSSB) that harmonizes dynamic sorting of Mamba with input-dependent dynamic convolution, enabling coherent integration of global context and local relational cues. This exquisite design helps eliminate global focus bias, especially for widely distributed contents, which greatly weakens the statistical frequency. For robust feature extraction and refinement, we design a cross-feature bridge (CFB) to adaptively fuse multi-scale representations. These efforts compose the novel relation-driven Mamba framework for effective UIE (RD-UIE). Extensive experiments on underwater enhancement benchmarks demonstrate RD-UIE outperforms the state-of-the-art approach WMamba in both quantitative metrics and visual fidelity, averagely achieving 0.55 dB performance gain on the three benchmarks. Our code is available at https://github.com/kkoucy/RD-UIE/tree/main

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL