Towards Anytime Optical Flow Estimation with Event Cameras

要約

イベントカメラは、ミリ秒レベルでのlog輝度の変化に応答し、光学フローの推定に最適です。
ただし、イベントカメラからの既存のデータセットは、光学フローの低フレームレートグラウンドトゥルースのみを提供し、イベント駆動型の光学フローの研究の可能性を制限します。
この課題に対処するために、低遅延のイベント表現、統一されたボクセルグリッドを導入し、EVA-Flowを提案します。Eva-Flowは、イベントベースのフロー推定ネットワークであり、監督のための低フレームレート光流量のグラウンドトゥルースのみを備えた高フレーム率のイベント光フローを生成します。
さらに、中間光学流量の監視されていない評価のために、整流フローワープ損失（RFWL）を提案します。
MVSEC、DESC、およびEVA-Flowsetに関する包括的なさまざまな実験は、EVA-Flowが競争力のあるパフォーマンス、超低遅延（5MS）、時間密度の高い運動推定（200Hz）、および強力な一般化を達成することを示しています。
私たちのコードは、https：//github.com/yaozhuwa/eva-flowで入手できます。

要約(オリジナル)

Event cameras respond to changes in log-brightness at the millisecond level, making them ideal for optical flow estimation. However, existing datasets from event cameras provide only low frame rate ground truth for optical flow, limiting the research potential of event-driven optical flow. To address this challenge, we introduce a low-latency event representation, Unified Voxel Grid, and propose EVA-Flow, an EVent-based Anytime Flow estimation network to produce high-frame-rate event optical flow with only low-frame-rate optical flow ground truth for supervision. Furthermore, we propose the Rectified Flow Warp Loss (RFWL) for the unsupervised assessment of intermediate optical flow. A comprehensive variety of experiments on MVSEC, DESC, and our EVA-FlowSet demonstrates that EVA-Flow achieves competitive performance, super-low-latency (5ms), time-dense motion estimation (200Hz), and strong generalization. Our code will be available at https://github.com/Yaozhuwa/EVA-Flow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google