QMambaBSR: Burst Image Super-Resolution with Query State Space Model

要約

バースト超解像は、複数のバースト低解像度フレームからのサブピクセル情報を融合することにより、より高品質でより豊かな詳細を備えた高解像度画像を再構築することを目的としています。
BusrtSR では、主な課題は、高周波ノイズの妨害を同時に抑制しながら、ベース フレームのコンテンツの相補的なサブピクセルの詳細を抽出することにあります。
既存の方法は、フレームごとにフレーム間の関係をモデル化することによってサブピクセルを抽出しようとしますが、複数の現在のフレーム間の相互相関を無視し、フレーム内の相互作用を無視するため、ベースフレームの超解像度では不正確でノイズの多いサブピクセルが発生します。
さらに、既存の方法は、すべてのシーンの空間解像度を向上させるために主に固定パラメータを使用した静的アップサンプリングを採用しているため、複数のフレームにわたるサブピクセル分布の違いを認識できず、異なるフレームの融合重みのバランスを取ることができず、過度に平滑化された詳細やアーティファクトが発生します。
これらの制限に対処するために、Query State Space Model (QSSM) と Adaptive Up-sampling module (AdaUp) を組み込んだ新しい Query Mamba Burst Super-Resolution (QMambaBSR) ネットワークを導入します。
具体的には、サブピクセルは一貫した空間分布を持っているが、ランダムノイズは一貫して分布していないという観察に基づいて、単一ステップでノイズ干渉を軽減しながら、フレーム間クエリとフレーム内スキャンを通じてサブピクセルを効率的に抽出する新しいQSSMを提案します。
。
さらに、AdaUp は、さまざまなバースト シーンにおけるマルチフレームのサブピクセル情報の空間分布に基づいてアップサンプリング カーネルを動的に調整するように設計されており、それによって高解像度の詳細の空間配置の再構築が容易になります。
4 つの一般的な合成ベンチマークと現実世界のベンチマークに関する広範な実験により、私たちの手法が新しい最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Burst super-resolution aims to reconstruct high-resolution images with higher quality and richer details by fusing the sub-pixel information from multiple burst low-resolution frames. In BusrtSR, the key challenge lies in extracting the base frame’s content complementary sub-pixel details while simultaneously suppressing high-frequency noise disturbance. Existing methods attempt to extract sub-pixels by modeling inter-frame relationships frame by frame while overlooking the mutual correlations among multi-current frames and neglecting the intra-frame interactions, leading to inaccurate and noisy sub-pixels for base frame super-resolution. Further, existing methods mainly employ static upsampling with fixed parameters to improve spatial resolution for all scenes, failing to perceive the sub-pixel distribution difference across multiple frames and cannot balance the fusion weights of different frames, resulting in over-smoothed details and artifacts. To address these limitations, we introduce a novel Query Mamba Burst Super-Resolution (QMambaBSR) network, which incorporates a Query State Space Model (QSSM) and Adaptive Up-sampling module (AdaUp). Specifically, based on the observation that sub-pixels have consistent spatial distribution while random noise is inconsistently distributed, a novel QSSM is proposed to efficiently extract sub-pixels through inter-frame querying and intra-frame scanning while mitigating noise interference in a single step. Moreover, AdaUp is designed to dynamically adjust the upsampling kernel based on the spatial distribution of multi-frame sub-pixel information in the different burst scenes, thereby facilitating the reconstruction of the spatial arrangement of high-resolution details. Extensive experiments on four popular synthetic and real-world benchmarks demonstrate that our method achieves a new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google