Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors

要約

ビデオフレーム補間（VFI）は、スローモーション再生などの時間領域や、ストップモーションシーケンスなどの空間領域を含む多くの重要なアプリケーションを可能にします。我々は、前者の課題に着目しており、複雑な動きのある高ダイナミックレンジ（HDR）シーンを扱うことが重要な課題の1つである。この目的のために、我々は、空間的に登録され、その端が時間的に整列している鋭い短時間露出とぼやけた長時間露出を容易に提供する二重露光センサの利点の可能性を探る。この方法では、モーションブラーがシーンの動きに関する時間的に連続した情報を登録し、シャープな基準と組み合わせることで、1つのカメラショット内でより正確な動きのサンプリングが可能になる。これにより、VFIタスクにおけるより複雑な動きの再構成、および、これまで補間されたフレーム間ではなく、元々撮影されたフレームに対してのみ考慮されていたHDRフレームの再構成が容易になることを実証する。我々は、これらのタスクで学習させたニューラルネットワークを設計し、既存のソリューションよりも明らかに優れた性能を発揮する。また、テスト時のVFI手法の性能に関する重要な洞察を与える、シーンモーションの複雑性に関するメトリックを提案する。

要約(オリジナル)

Video frame interpolation (VFI) enables many important applications that might involve the temporal domain, such as slow motion playback, or the spatial domain, such as stop motion sequences. We are focusing on the former task, where one of the key challenges is handling high dynamic range (HDR) scenes in the presence of complex motion. To this end, we explore possible advantages of dual-exposure sensors that readily provide sharp short and blurry long exposures that are spatially registered and whose ends are temporally aligned. This way, motion blur registers temporally continuous information on the scene motion that, combined with the sharp reference, enables more precise motion sampling within a single camera shot. We demonstrate that this facilitates a more complex motion reconstruction in the VFI task, as well as HDR frame reconstruction that so far has been considered only for the originally captured frames, not in-between interpolated frames. We design a neural network trained in these tasks that clearly outperforms existing solutions. We also propose a metric for scene motion complexity that provides important insights into the performance of VFI methods at the test time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL