EventHDR: from Event to High-Speed HDR Videos and Beyond

要約

イベント カメラは、シーンのダイナミクスを非同期的にキャプチャする革新的なニューロモーフィック センサーです。
イベント トリガー メカニズムにより、このようなカメラは、従来のカメラと比較して応答遅延がはるかに短く、強度感度が高くイベント ストリームを記録します。
これらの機能に基づいて、これまでの研究ではイベントからハイ ダイナミック レンジ (HDR) ビデオを再構築しようと試みてきましたが、非現実的なアーティファクトが発生するか、十分に高いフレーム レートを提供できませんでした。
この論文では、希薄なイベント データによって引き起こされる潜在的なエラーの蓄積を防ぐためのキー フレーム ガイダンスを使用して、イベント シーケンスから高速 HDR ビデオを再構成するリカレント畳み込みニューラル ネットワークを紹介します。
さらに、実データセットが非常に限られているという問題に対処するために、高速 HDR ビデオとイベント ストリームのペアを含む実世界データセットを収集する新しい光学システムを開発し、この分野での将来の研究を促進します。
私たちのデータセットは、イベントから HDR への再構成のための最初の実際のペア データセットを提供し、シミュレーション戦略による潜在的な不正確さを回避します。
実験結果は、私たちの方法が高品質で高速な HDR ビデオを生成できることを示しています。
さらに、HDR シナリオでの物体検出、パノラマ セグメンテーション、オプティカル フロー推定、単眼深度推定など、クロスカメラ再構成と下流のコンピューター ビジョン タスクにおける作業の可能性を探ります。

要約(オリジナル)

Event cameras are innovative neuromorphic sensors that asynchronously capture the scene dynamics. Due to the event-triggering mechanism, such cameras record event streams with much shorter response latency and higher intensity sensitivity compared to conventional cameras. On the basis of these features, previous works have attempted to reconstruct high dynamic range (HDR) videos from events, but have either suffered from unrealistic artifacts or failed to provide sufficiently high frame rates. In this paper, we present a recurrent convolutional neural network that reconstruct high-speed HDR videos from event sequences, with a key frame guidance to prevent potential error accumulation caused by the sparse event data. Additionally, to address the problem of severely limited real dataset, we develop a new optical system to collect a real-world dataset with paired high-speed HDR videos and event streams, facilitating future research in this field. Our dataset provides the first real paired dataset for event-to-HDR reconstruction, avoiding potential inaccuracies from simulation strategies. Experimental results demonstrate that our method can generate high-quality, high-speed HDR videos. We further explore the potential of our work in cross-camera reconstruction and downstream computer vision tasks, including object detection, panoramic segmentation, optical flow estimation, and monocular depth estimation under HDR scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google