RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution

要約

バースト超解像度 (BurstSR) は、一連の低解像度 (LR) でノイズの多い画像から高解像度 (HR) 画像を再構築することを目的としています。これは、センサーが限られているスマートフォンの画像効果を高めるのに役立ちます。
BurstSR の主な課題は、入力フレームからの相補的な情報を効果的に結合することですが、既存の方法ではまだ苦労しています。
このペーパーでは、効率的で柔軟なリカレント ネットワークを使用してキューをフレームごとに融合することを提案します。
特に、ベースフレームの役割を強調し、それを繰り返しのたびに他のフレームからの知識獲得を導くための重要なプロンプトとして利用します。
さらに、変数の入力フレームに直面する際のモデルの柔軟性を向上させるために、暗黙的な重み付け損失を導入します。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、私たちの方法が最先端の方法よりも優れた結果が得られることが実証されました。
コードと事前トレーニングされたモデルは https://github.com/ZcsrenlongZ/RBSR で入手できます。

要約(オリジナル)

Burst super-resolution (BurstSR) aims at reconstructing a high-resolution (HR) image from a sequence of low-resolution (LR) and noisy images, which is conducive to enhancing the imaging effects of smartphones with limited sensors. The main challenge of BurstSR is to effectively combine the complementary information from input frames, while existing methods still struggle with it. In this paper, we suggest fusing cues frame-by-frame with an efficient and flexible recurrent network. In particular, we emphasize the role of the base-frame and utilize it as a key prompt to guide the knowledge acquisition from other frames in every recurrence. Moreover, we introduce an implicit weighting loss to improve the model’s flexibility in facing input frames with variable numbers. Extensive experiments on both synthetic and real-world datasets demonstrate that our method achieves better results than state-of-the-art ones. Codes and pre-trained models are available at https://github.com/ZcsrenlongZ/RBSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google