Learning Dense and Continuous Optical Flow from an Event Camera

要約

DAVIS などのイベント カメラは、時間分解能の高いイベントとフレーム レートの低い強度の画像を同時に出力できます。これは、オプティカル フロー推定など、シーンの動きをキャプチャする際に大きな可能性を秘めています。
既存のオプティカル フローの推定方法のほとんどは、2 つの連続する画像フレームに基づいており、一定の時間間隔で離散的なフローしか推定できません。
以前の研究では、イベントの量または時間間隔を変更することで、連続的なフロー推定を実現できることが示されています。
ただし、特にトリガーイベントのない地域では、信頼できる高密度フローを推定することは困難です。
この論文では、イベントストリームを含む単一の画像から、ディープラーニングベースの高密度で連続的なオプティカルフロー推定フレームワークを提案します。これにより、高速モーションの正確な認識が容易になります。
具体的には、最初に、イベントと画像の融合および相関モジュールを提案して、2 つの異なるデータ モダリティからの内部運動を効果的に活用します。
次に、オプティカルフロー予測のための双方向トレーニングを備えた反復更新ネットワーク構造を提案します。
したがって、私たちのモデルは、信頼できる密なフローを 2 フレーム ベースの方法として推定し、時間的な連続フローをイベント ベースの方法として推定することができます。
合成データセットと実際にキャプチャされたデータセットの両方に関する広範な実験結果は、モデルが既存のイベントベースの最先端の方法と、正確で高密度で連続的なオプティカル フロー推定のために設計されたベースラインよりも優れていることを示しています。

要約(オリジナル)

Event cameras such as DAVIS can simultaneously output high temporal resolution events and low frame-rate intensity images, which own great potential in capturing scene motion, such as optical flow estimation. Most of the existing optical flow estimation methods are based on two consecutive image frames and can only estimate discrete flow at a fixed time interval. Previous work has shown that continuous flow estimation can be achieved by changing the quantities or time intervals of events. However, they are difficult to estimate reliable dense flow , especially in the regions without any triggered events. In this paper, we propose a novel deep learning-based dense and continuous optical flow estimation framework from a single image with event streams, which facilitates the accurate perception of high-speed motion. Specifically, we first propose an event-image fusion and correlation module to effectively exploit the internal motion from two different modalities of data. Then we propose an iterative update network structure with bidirectional training for optical flow prediction. Therefore, our model can estimate reliable dense flow as two-frame-based methods, as well as estimate temporal continuous flow as event-based methods. Extensive experimental results on both synthetic and real captured datasets demonstrate that our model outperforms existing event-based state-of-the-art methods and our designed baselines for accurate dense and continuous optical flow estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google