OSMamba: Omnidirectional Spectral Mamba with Dual-Domain Prior Generator for Exposure Correction

要約

露出補正は、コンピュータービジョンと画像処理の根本的な問題です。
最近、周波数ドメインベースの方法は印象的な改善を達成しましたが、極端な曝露条件下での複雑な現実世界のシナリオとまだ苦労しています。
これは、スペクトルの長距離依存関係をモデル化できない局所畳み込み受容フィールドと、重度の低下地域から失われた詳細を取得するには不十分である非生成学習パラダイムが原因であるためです。
この論文では、これらの制限に対処するために状態空間モデルと生成拡散モデルの利点を組み込んだ新規露出補正ネットワークである、全方向性スペクトルマンバ（オスマンバ）を提案します。
具体的には、オスマンバは、マンバを周波数領域に適応させる全指示スペクトルスキャンメカニズムを導入し、深い画像特徴の振幅と位相スペクトルの両方で包括的な長距離依存性をキャプチャし、照明の修正と構造の回復を強化します。
さらに、露出した画像から学習するデュアルドメインの事前ジェネレーターを開発し、より良い詳細回復のために、厳しく過剰および過剰に露出されている領域に関する正しい情報を含む劣化のない拡散を生成します。
多重暴露と混合曝露データセットに関する広範な実験は、提案されているオスマンバが定量的および定性的に最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Exposure correction is a fundamental problem in computer vision and image processing. Recently, frequency domain-based methods have achieved impressive improvement, yet they still struggle with complex real-world scenarios under extreme exposure conditions. This is due to the local convolutional receptive fields failing to model long-range dependencies in the spectrum, and the non-generative learning paradigm being inadequate for retrieving lost details from severely degraded regions. In this paper, we propose Omnidirectional Spectral Mamba (OSMamba), a novel exposure correction network that incorporates the advantages of state space models and generative diffusion models to address these limitations. Specifically, OSMamba introduces an omnidirectional spectral scanning mechanism that adapts Mamba to the frequency domain to capture comprehensive long-range dependencies in both the amplitude and phase spectra of deep image features, hence enhancing illumination correction and structure recovery. Furthermore, we develop a dual-domain prior generator that learns from well-exposed images to generate a degradation-free diffusion prior containing correct information about severely under- and over-exposed regions for better detail restoration. Extensive experiments on multiple-exposure and mixed-exposure datasets demonstrate that the proposed OSMamba achieves state-of-the-art performance both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google