Learning Exposure Correction in Dynamic Scenes

要約

露出補正は、不適切な露出に起因する視覚データを補正することを目的としており、これにより満足のいく視覚効果を大幅に向上させることができる。しかし、これまでの手法は主に画像モダリティに焦点を当てたものであり、ビデオに対応する手法はあまり研究されていません。先行する画像ベースの手法を動画に直接適用すると、視覚的な品質が低く、時間的な非干渉性が生じる。徹底的な調査により、ベンチマークとなるデータセットがないため、関連するコミュニティの発展が制限されていることがわかった。そこで本論文では、露出アンダーと露出オーバーの動的シーンを含む、初の実世界ペア動画データセットを構築する。空間アライメントを達成するために、2台のデジタル一眼レフカメラとビームスプリッターを利用し、不適切な露出と通常の露出の動画を同時に撮影する。さらに、露光不足と露光過度の両方の要因に対処するためにデュアルストリームモジュールを設計し、Retinex理論に基づいて照明を強化する、エンドツーエンドのビデオ露光補正ネットワークを提案する。様々なメトリクスに基づく広範な実験とユーザー調査により、我々のデータセットの重要性と我々の手法の有効性が実証されている。コードとデータセットはhttps://github.com/kravrolens/VECNet。

要約(オリジナル)

Exposure correction aims to enhance visual data suffering from improper exposures, which can greatly improve satisfactory visual effects. However, previous methods mainly focus on the image modality, and the video counterpart is less explored in the literature. Directly applying prior image-based methods to videos results in temporal incoherence with low visual quality. Through thorough investigation, we find that the development of relevant communities is limited by the absence of a benchmark dataset. Therefore, in this paper, we construct the first real-world paired video dataset, including both underexposure and overexposure dynamic scenes. To achieve spatial alignment, we utilize two DSLR cameras and a beam splitter to simultaneously capture improper and normal exposure videos. Additionally, we propose an end-to-end video exposure correction network, in which a dual-stream module is designed to deal with both underexposure and overexposure factors, enhancing the illumination based on Retinex theory. The extensive experiments based on various metrics and user studies demonstrate the significance of our dataset and the effectiveness of our method. The code and dataset are available at https://github.com/kravrolens/VECNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL