Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes

要約

多重露出画像の結合は、ハイ ダイナミック レンジ (HDR) 画像を取得するための一般的なアプローチであり、主な課題は、ダイナミック シーンにおけるゴースト アーティファクトの回避です。
最近の方法では、ゴースト除去にディープ ニューラル ネットワークを使用することが提案されています。
ただし、これらの方法は通常、HDR グラウンドトゥルースを含む十分なデータに依存しており、収集が困難でコストがかかります。
この研究では、ラベル付きデータの必要性を排除するために、トレーニング中に動的な多重露出画像のみを必要とする自己教師あり HDR 再構成手法である SelfHDR を提案します。
具体的には、SelfHDR は 2 つの相補的なコンポーネントの監視の下で再構成ネットワークを学習します。これらのコンポーネントは多重露出画像から構築でき、それぞれ HDR の色と構造に焦点を当てます。
カラー成分は位置合わせされた多重露出画像から推定され、構造 1 はカラー成分と入力基準 (中間露出) 画像によって管理される構造に焦点を当てたネットワークを通じて生成されます。
テスト中、学習された再構成ネットワークは HDR 画像を予測するために直接展開されます。
実世界の画像での実験では、当社の SelfHDR が最先端の自己教師あり手法に対して優れた結果を達成し、教師あり手法と同等のパフォーマンスを達成することが実証されています。
コードは https://github.com/cszhilu1998/SelfHDR で入手できます。

要約(オリジナル)

Merging multi-exposure images is a common approach for obtaining high dynamic range (HDR) images, with the primary challenge being the avoidance of ghosting artifacts in dynamic scenes. Recent methods have proposed using deep neural networks for deghosting. However, the methods typically rely on sufficient data with HDR ground-truths, which are difficult and costly to collect. In this work, to eliminate the need for labeled data, we propose SelfHDR, a self-supervised HDR reconstruction method that only requires dynamic multi-exposure images during training. Specifically, SelfHDR learns a reconstruction network under the supervision of two complementary components, which can be constructed from multi-exposure images and focus on HDR color as well as structure, respectively. The color component is estimated from aligned multi-exposure images, while the structure one is generated through a structure-focused network that is supervised by the color component and an input reference (\eg, medium-exposure) image. During testing, the learned reconstruction network is directly deployed to predict an HDR image. Experiments on real-world images demonstrate our SelfHDR achieves superior results against the state-of-the-art self-supervised methods, and comparable performance to supervised ones. Codes are available at https://github.com/cszhilu1998/SelfHDR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google