PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement

要約

水中画像強調 (UIE) は海洋の研究や探検にとって重要ですが、複雑な色の歪みや深刻なぼやけによって妨げられます。
最近の深層学習ベースの手法は目覚ましい成果を上げていますが、これらの手法は高い計算コストと不十分なグローバル モデリングに悩まされており、その結果、局所的に調整が不十分または過剰な領域が生じます。
我々は、状態空間モデル (SSM) を活用して効率的なグローバル依存関係モデリングを行うことで、これらの課題を克服するように設計された新しいアーキテクチャである PixMamba を紹介します。
受容野が限られた畳み込みニューラル ネットワーク (CNN) や計算コストの高い変換ネットワークとは異なり、PixMamba は計算効率を維持しながら、グローバルなコンテキスト情報を効率的に取得します。
当社のデュアルレベル戦略は、強化された画像特徴を再構築するためのパッチレベルの Efficient Mamba Net (EMNet) と、以前は取得が困難であった、きめ細かい特徴のキャプチャと強化された画像のグローバルな一貫性を確保するためのピクセルレベルの PixMamba Net (PixNet) を特徴としています。
。
PixMamba は、さまざまな水中画像データセットにわたって最先端のパフォーマンスを実現し、視覚的に優れた結果を提供します。
コードは https://github.com/weitunglin/pixmamba から入手できます。

要約(オリジナル)

Underwater Image Enhancement (UIE) is critical for marine research and exploration but hindered by complex color distortions and severe blurring. Recent deep learning-based methods have achieved remarkable results, yet these methods struggle with high computational costs and insufficient global modeling, resulting in locally under- or over- adjusted regions. We present PixMamba, a novel architecture, designed to overcome these challenges by leveraging State Space Models (SSMs) for efficient global dependency modeling. Unlike convolutional neural networks (CNNs) with limited receptive fields and transformer networks with high computational costs, PixMamba efficiently captures global contextual information while maintaining computational efficiency. Our dual-level strategy features the patch-level Efficient Mamba Net (EMNet) for reconstructing enhanced image feature and the pixel-level PixMamba Net (PixNet) to ensure fine-grained feature capturing and global consistency of enhanced image that were previously difficult to obtain. PixMamba achieves state-of-the-art performance across various underwater image datasets and delivers visually superior results. Code is available at: https://github.com/weitunglin/pixmamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google