High Dynamic Range and Super-Resolution from Raw Image Bursts

要約

スマートフォンやミッドレンジ カメラで撮影した写真は、空間解像度とダイナミック レンジが制限されており、露出不足の領域ではノイズが多く、飽和領域では色アーティファクトが発生します。
このホワイトペーパーでは、露出ブラケットを使用してハンドヘルドカメラでキャプチャされた生の写真バーストから高解像度、高ダイナミックレンジのカラー画像を再構築するための最初のアプローチ (私たちの知る限り) を紹介します。
この方法では、画像形成の物理的に正確なモデルを使用して、対応する逆問題を解決するための反復最適化アルゴリズムを、ロバストな位置合わせのための学習済み画像表現および学習済みの自然な事前画像と組み合わせます。
提案されたアルゴリズムは高速で、画像復元に対する最先端の学習ベースのアプローチと比較してメモリ要件が低く、合成された現実的なデータからエンドツーエンドで学習される機能を備えています。
広範な実験により、ハンドヘルドカメラで野生で撮影された実際の写真で最大 $\times 4$ の超解像係数と、低照度条件、ノイズ、手ぶれ、および適度な物体の動きに対する高い堅牢性を備えた優れた性能が実証されています
.

要約(オリジナル)

Photographs captured by smartphones and mid-range cameras have limited spatial resolution and dynamic range, with noisy response in underexposed regions and color artefacts in saturated areas. This paper introduces the first approach (to the best of our knowledge) to the reconstruction of high-resolution, high-dynamic range color images from raw photographic bursts captured by a handheld camera with exposure bracketing. This method uses a physically-accurate model of image formation to combine an iterative optimization algorithm for solving the corresponding inverse problem with a learned image representation for robust alignment and a learned natural image prior. The proposed algorithm is fast, with low memory requirements compared to state-of-the-art learning-based approaches to image restoration, and features that are learned end to end from synthetic yet realistic data. Extensive experiments demonstrate its excellent performance with super-resolution factors of up to $\times 4$ on real photographs taken in the wild with hand-held cameras, and high robustness to low-light conditions, noise, camera shake, and moderate object motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google