Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks

要約

暗い環境で鮮明なコンテンツを含む高品質の写真を取得することは非常に望まれていますが、困難です。
マルチ画像処理方法 (バースト、二重露光、または多重露光画像を使用) は、この問題への対処において大幅な進歩を遂げていますが、通常は特定の復元または強調の問題に焦点を当てており、マルチ画像の活用には不十分です。
多重露出画像はノイズ除去、ブレ除去、高ダイナミック レンジ イメージング、および超解像度において補完的であるという考えに基づいて、この作業では露出ブラケッティング写真を利用して修復と強調のタスクを統合することを提案します。
現実世界のペアを収集するのは難しいため、最初に合成ペア データを使用してモデルを事前トレーニングし、次にそれを現実世界のラベルのない画像に適応させるソリューションを提案します。
特に、時間変調リカレントネットワーク (TMRNet) と自己監視適応法が提案されています。
さらに、データ シミュレーション パイプラインを構築してペアを合成し、200 の夜間シナリオから現実世界の画像を収集します。
両方のデータセットでの実験では、私たちの方法が最先端のマルチ画像処理方法に対して有利に機能することが示されています。
データセット、コード、および事前トレーニングされたモデルは、https://github.com/cszhilu1998/BracketIRE で入手できます。

要約(オリジナル)

It is highly desired but challenging to acquire high-quality photos with clear content in low-light environments. Although multi-image processing methods (using burst, dual-exposure, or multi-exposure images) have made significant progress in addressing this issue, they typically focus on specific restoration or enhancement problems, being insufficient in exploiting multi-image. Motivated by that multi-exposure images are complementary in denoising, deblurring, high dynamic range imaging, and super-resolution, we propose to utilize exposure bracketing photography to unify restoration and enhancement tasks in this work. Due to the difficulty in collecting real-world pairs, we suggest a solution that first pre-trains the model with synthetic paired data and then adapts it to real-world unlabeled images. In particular, a temporally modulated recurrent network (TMRNet) and self-supervised adaptation method are proposed. Moreover, we construct a data simulation pipeline to synthesize pairs and collect real-world images from 200 nighttime scenarios. Experiments on both datasets show that our method performs favorably against the state-of-the-art multi-image processing ones. The dataset, code, and pre-trained models are available at https://github.com/cszhilu1998/BracketIRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google