DPMambaIR:All-in-One Image Restoration via Degradation-Aware Prompt State Space Model

要約

オールインワン画像の修復は、単一のモデルを使用して複数の画像劣化の問題に対処することを目的としており、各分解タイプの専用モデルを設計する従来の方法と比較して、トレーニングコストと展開の複雑さを大幅に削減します。
既存のアプローチは、通常、画像の復元を導くために、分解固有のモデルまたは粗粒の分解プロンプトに依存しています。
ただし、マルチタスク競合のバランスをとる際の劣化情報の細かいモデリングと直面の制限がありません。
これらの制限を克服するために、斬新なオールインワン画像修復フレームワークであるDPMambairを提案します。
DPMAMBAIRは、分解を認識したプロンプト状態空間モデル（DP-SSM）と高頻度エンハンスメントブロック（HEB）を統合することにより、複雑な分解情報の微調整されたモデリングと効率的なグローバル統合を可能にし、タスク競合によって引き起こされる高周波の詳細の喪失を軽減します。
具体的には、DP-SSMは事前に訓練された分解抽出器を利用して微調整された劣化の特徴をキャプチャし、それらを動的に状態空間モデリングプロセスに組み込み、モデルの多様な分解タイプへの適応性を高めます。
同時に、HEBは高周波情報をサプリメントし、マルチタスク画像修復シナリオで、エッジやテクスチャなどの重要な詳細の喪失に効果的に対処します。
7つの劣化タイプを含む混合データセットでの広範な実験は、DPMambairがPSNRとSSIMでそれぞれ27.69dBと0.893で最高のパフォーマンスを達成することを示しています。
これらの結果は、オールインワンの画像修復のための統一されたソリューションとしてのDPMambairの潜在的および優位性を強調しています。

要約(オリジナル)

All-in-One image restoration aims to address multiple image degradation problems using a single model, significantly reducing training costs and deployment complexity compared to traditional methods that design dedicated models for each degradation type. Existing approaches typically rely on Degradation-specific models or coarse-grained degradation prompts to guide image restoration. However, they lack fine-grained modeling of degradation information and face limitations in balancing multi-task conflicts. To overcome these limitations, we propose DPMambaIR, a novel All-in-One image restoration framework. By integrating a Degradation-Aware Prompt State Space Model (DP-SSM) and a High-Frequency Enhancement Block (HEB), DPMambaIR enables fine-grained modeling of complex degradation information and efficient global integration, while mitigating the loss of high-frequency details caused by task competition. Specifically, the DP-SSM utilizes a pre-trained degradation extractor to capture fine-grained degradation features and dynamically incorporates them into the state space modeling process, enhancing the model’s adaptability to diverse degradation types. Concurrently, the HEB supplements high-frequency information, effectively addressing the loss of critical details, such as edges and textures, in multi-task image restoration scenarios. Extensive experiments on a mixed dataset containing seven degradation types show that DPMambaIR achieves the best performance, with 27.69dB and 0.893 in PSNR and SSIM, respectively. These results highlight the potential and superiority of DPMambaIR as a unified solution for All-in-One image restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google