MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs

要約

我々は、困難な圧縮画像超解像度 (CSR) タスクに対応する、Mamba に基づくシンプルだが効果的なフレームワークである MambaCSR を紹介します。
特に、Mamba のスキャン戦略は、すべてのトークンの選択的状態空間モデリングに依存しているにもかかわらず、復元プロセスにおける効果的なコンテキスト知識モデリングにとって重要です。
この研究では、CSR のための効率的なデュアル インターリーブ スキャン パラダイム (DIS) を提案します。これは 2 つのスキャン戦略で構成されます。 (i) 階層的インターリーブ スキャンは、画像内の最も潜在的なコンテキスト情報を包括的にキャプチャして利用するように設計されています。
ローカルウィンドウベースの順次スキャン方法を利用する。
(ii) 水平から垂直へのインターリーブ走査は、異なる方向の走査間に冗長性を残すことで計算コストを削減するために提案されています。
不均一な圧縮アーティファクトを克服するために、マルチスケールのコンテキスト情報をモデル化するための位置合わせされたクロススケール スキャンも提案します。
複数のベンチマークでの実験結果は、圧縮画像の超解像度タスクにおける MambaCSR の優れたパフォーマンスを示しています。
このコードは、~\textcolor{magenta}{\url{https://github.com/renyulin-f/MambaCSR}} で間もなく利用可能になります。

要約(オリジナル)

We present MambaCSR, a simple but effective framework based on Mamba for the challenging compressed image super-resolution (CSR) task. Particularly, the scanning strategies of Mamba are crucial for effective contextual knowledge modeling in the restoration process despite it relying on selective state space modeling for all tokens. In this work, we propose an efficient dual-interleaved scanning paradigm (DIS) for CSR, which is composed of two scanning strategies: (i) hierarchical interleaved scanning is designed to comprehensively capture and utilize the most potential contextual information within an image by simultaneously taking advantage of the local window-based and sequential scanning methods; (ii) horizontal-to-vertical interleaved scanning is proposed to reduce the computational cost by leaving the redundancy between the scanning of different directions. To overcome the non-uniform compression artifacts, we also propose position-aligned cross-scale scanning to model multi-scale contextual information. Experimental results on multiple benchmarks have shown the great performance of our MambaCSR in the compressed image super-resolution task. The code will be soon available in~\textcolor{magenta}{\url{https://github.com/renyulin-f/MambaCSR}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google