MFSR-GAN: Multi-Frame Super-Resolution with Handheld Motion Modeling

要約

スマートフォンカメラはユビキタスなイメージングツールになりましたが、それらの小さなセンサーとコンパクトな光学系は、空間解像度を制限し、歪みを導入することがよくあります。
複数の低解像度（LR）フレームからの情報を組み合わせて、スマートフォンカメラの固有の制限を克服するために、高解像度（HR）画像を作成しました。
マルチフレームスーパー解像度（MFSR）の約束にもかかわらず、現実世界のハンドヘルドバースト画像に見られる特徴的なノイズとモーションパターンをキャプチャできないデータセットによって現在のアプローチが妨げられています。
この作業では、ハンドヘルドバースト写真中に見つかったセンサー固有のノイズ特性と画像の動きを維持しながら、マルチエクスポーズ静的画像を使用してLR-HRトレーニングペアを合成する新しい合成データエンジンを導入することにより、このギャップに対処します。
また、MFSR-GAN：MFSR用のマルチスケールの生とRGBネットワークを提案します。
以前のアプローチと比較して、MFSR-GANはアーキテクチャを通じてアーキテクチャを通して「ベースフレーム」を強調し、アーティファクトを緩和します。
合成データと実際のデータの両方の実験結果は、合成エンジンで訓練されたMFSR-GANが、実際のMFSRの既存の方法よりも鋭く、より現実的な再構成をもたらすことを示しています。

要約(オリジナル)

Smartphone cameras have become ubiquitous imaging tools, yet their small sensors and compact optics often limit spatial resolution and introduce distortions. Combining information from multiple low-resolution (LR) frames to produce a high-resolution (HR) image has been explored to overcome the inherent limitations of smartphone cameras. Despite the promise of multi-frame super-resolution (MFSR), current approaches are hindered by datasets that fail to capture the characteristic noise and motion patterns found in real-world handheld burst images. In this work, we address this gap by introducing a novel synthetic data engine that uses multi-exposure static images to synthesize LR-HR training pairs while preserving sensor-specific noise characteristics and image motion found during handheld burst photography. We also propose MFSR-GAN: a multi-scale RAW-to-RGB network for MFSR. Compared to prior approaches, MFSR-GAN emphasizes a ‘base frame’ throughout its architecture to mitigate artifacts. Experimental results on both synthetic and real data demonstrates that MFSR-GAN trained with our synthetic engine yields sharper, more realistic reconstructions than existing methods for real-world MFSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google