Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks

要約

暗い環境で鮮明なコンテンツを含む高品質の写真を取得することは非常に望まれていますが、困難です。
マルチ画像処理方法 (バースト、二重露光、または多重露光画像を使用) はこの問題への対処において大幅な進歩を遂げていますが、通常、それらは特定の復元または強調の問題に焦点を当てており、複数の画像を利用する可能性を十分に検討していません。
。
多重露出画像がノイズ除去、ブレ除去、高ダイナミック レンジ イメージング、および超解像度において補完的であるという事実に動機付けられ、この作業では露出ブラケット撮影を利用して画像の復元と強化のタスクを統合することを提案します。
現実世界のペアを収集するのは難しいため、最初に合成ペア データを使用してモデルを事前トレーニングし、次にそれを現実世界のラベルのない画像に適応させるソリューションを提案します。
特に、時間変調リカレントネットワーク (TMRNet) と自己監視適応法が提案されています。
さらに、データ シミュレーション パイプラインを構築してペアを合成し、200 の夜間シナリオから現実世界の画像を収集します。
両方のデータセットでの実験では、私たちの方法が最先端のマルチ画像処理方法に対して有利に機能することが示されています。
データセット、コード、および事前トレーニングされたモデルは、https://github.com/cszhilu1998/BracketIRE で入手できます。

要約(オリジナル)

It is highly desired but challenging to acquire high-quality photos with clear content in low-light environments. Although multi-image processing methods (using burst, dual-exposure, or multi-exposure images) have made significant progress in addressing this issue, they typically focus on specific restoration or enhancement problems, and do not fully explore the potential of utilizing multiple images. Motivated by the fact that multi-exposure images are complementary in denoising, deblurring, high dynamic range imaging, and super-resolution, we propose to utilize exposure bracketing photography to unify image restoration and enhancement tasks in this work. Due to the difficulty in collecting real-world pairs, we suggest a solution that first pre-trains the model with synthetic paired data and then adapts it to real-world unlabeled images. In particular, a temporally modulated recurrent network (TMRNet) and self-supervised adaptation method are proposed. Moreover, we construct a data simulation pipeline to synthesize pairs and collect real-world images from 200 nighttime scenarios. Experiments on both datasets show that our method performs favorably against the state-of-the-art multi-image processing ones. The dataset, code, and pre-trained models are available at https://github.com/cszhilu1998/BracketIRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google