要約
超高精細（UHD）技術は、その卓越したビジュアル品質により広く注目を集めているが、低照度画像強調（LLIE）技術に新たな課題も投げかけている。UHD画像は本質的に高い計算複雑性を持っているため、既存のUHD LLIE手法は、計算コストを削減するために高倍率ダウンサンプリングを採用しており、その結果、情報損失が発生しています。ウェーブレット変換は、情報を失うことなくダウンサンプリングを可能にするだけでなく、ノイズから画像コンテンツを分離します。これにより、状態空間モデル（SSM）が長いシーケンスをモデル化する際にノイズの影響を受けないようにすることができ、SSMの長シーケンスモデル化能力をフルに活用することができる。これに基づき、我々はウェーブレット領域から得られた2つの重要な洞察に基づく新しいアプローチであるWave-Mambaを提案する：1) 画像の内容情報の大部分は低周波成分に存在し、高周波成分には少ない。2) 高周波成分は低照度強調の結果に最小限の影響しか及ぼさない。具体的には、UHD画像の大域的なコンテンツ情報を効率的にモデル化するために、低周波サブバンドの情報を復元することに重点を置いたSSMを改良し、低周波状態空間ブロック（LFSSBlock）を提案した。さらに、高周波サブバンド情報のための高周波エンハンスブロック（HFEBlock）を提案し、エンハンスされた低周波情報を用いて高周波情報を補正し、正しい高周波ディテールを効果的に復元する。包括的な評価を通じて、我々の方法は、より合理的なアーキテクチャを維持しながら、現在の主要な技術を大幅に凌駕する優れた性能を実証した。コードはhttps://github.com/AlexZou14/Wave-Mamba。
要約(オリジナル)
Ultra-high-definition (UHD) technology has attracted widespread attention due to its exceptional visual quality, but it also poses new challenges for low-light image enhancement (LLIE) techniques. UHD images inherently possess high computational complexity, leading existing UHD LLIE methods to employ high-magnification downsampling to reduce computational costs, which in turn results in information loss. The wavelet transform not only allows downsampling without loss of information, but also separates the image content from the noise. It enables state space models (SSMs) to avoid being affected by noise when modeling long sequences, thus making full use of the long-sequence modeling capability of SSMs. On this basis, we propose Wave-Mamba, a novel approach based on two pivotal insights derived from the wavelet domain: 1) most of the content information of an image exists in the low-frequency component, less in the high-frequency component. 2) The high-frequency component exerts a minimal influence on the outcomes of low-light enhancement. Specifically, to efficiently model global content information on UHD images, we proposed a low-frequency state space block (LFSSBlock) by improving SSMs to focus on restoring the information of low-frequency sub-bands. Moreover, we propose a high-frequency enhance block (HFEBlock) for high-frequency sub-band information, which uses the enhanced low-frequency information to correct the high-frequency information and effectively restore the correct high-frequency details. Through comprehensive evaluation, our method has demonstrated superior performance, significantly outshining current leading techniques while maintaining a more streamlined architecture. The code is available at https://github.com/AlexZou14/Wave-Mamba.
arxiv情報
| 著者 | Wenbin Zou,Hongxia Gao,Weipeng Yang,Tongtong Liu |
| 発行日 | 2024-08-02 14:01:34+00:00 |
| arxivサイト | arxiv_id(pdf) |