Towards Anytime Optical Flow Estimation with Event Cameras

要約

イベント カメラは、対数の明るさの変化にマイクロ秒単位で応答できます。
変化領域のみを応答する特性はオプティカルフロー推定に特に適しています。
ただし、イベント カメラの超低遅延応答速度とは対照的に、イベント カメラを介して収集された既存のデータセットは、制限されたフレーム レートのオプティカル フロー グラウンド トゥルース (例: 10Hz) しか提供しないため、イベント駆動型オプティカル フローの可能性が大幅に制限されます。
。
この課題に対処するために、私たちは、ビンごとにネットワークに順次供給される、高フレーム レート、低遅延のイベント表現 Unified Voxel Grid を提案しました。
次に、監視用の低フレーム レートのオプティカル フロー グラウンド トゥルースのみを使用して高フレーム レートのイベント オプティカル フローを生成する、EVent ベースの Anytime Flow 推定ネットワークである EVA-Flow を提案します。
当社の EVA-Flow の重要なコンポーネントは、スタックされた時空間モーション リファインメント (SMR) モジュールです。これは、時間的に高密度のオプティカル フローを予測し、時空間モーション リファインメントによって精度を高めます。
SMR モジュールで利用される時間密度の高い特徴ワーピングは、中間オプティカル フローの暗黙的な監視を提供します。
さらに、グランド トゥルースが存在しない場合の中間オプティカル フローの教師なし評価のために、Rectified Flow Warp Loss (RFWL) を導入します。
私たちの知る限り、これはイベント カメラを介したいつでもオプティカル フローの推定に焦点を当てた最初の研究です。
MVSEC、DESC、および当社の EVA-FlowSet に関する包括的なさまざまな実験により、EVA-Flow が競争力のあるパフォーマンス、超低遅延 (5ms)、最速の推論 (9.2ms)、時間密度の高い動き推定 (200Hz)、および
強い一般化。
私たちのコードは https://github.com/Yaozhuwa/EVA-Flow で入手できます。

要約(オリジナル)

Event cameras are capable of responding to log-brightness changes in microseconds. Its characteristic of producing responses only to the changing region is particularly suitable for optical flow estimation. In contrast to the super low-latency response speed of event cameras, existing datasets collected via event cameras, however, only provide limited frame rate optical flow ground truth, (e.g., at 10Hz), greatly restricting the potential of event-driven optical flow. To address this challenge, we put forward a high-frame-rate, low-latency event representation Unified Voxel Grid, sequentially fed into the network bin by bin. We then propose EVA-Flow, an EVent-based Anytime Flow estimation network to produce high-frame-rate event optical flow with only low-frame-rate optical flow ground truth for supervision. The key component of our EVA-Flow is the stacked Spatiotemporal Motion Refinement (SMR) module, which predicts temporally-dense optical flow and enhances the accuracy via spatial-temporal motion refinement. The time-dense feature warping utilized in the SMR module provides implicit supervision for the intermediate optical flow. Additionally, we introduce the Rectified Flow Warp Loss (RFWL) for the unsupervised evaluation of intermediate optical flow in the absence of ground truth. This is, to the best of our knowledge, the first work focusing on anytime optical flow estimation via event cameras. A comprehensive variety of experiments on MVSEC, DESC, and our EVA-FlowSet demonstrates that EVA-Flow achieves competitive performance, super-low-latency (5ms), fastest inference (9.2ms), time-dense motion estimation (200Hz), and strong generalization. Our code will be available at https://github.com/Yaozhuwa/EVA-Flow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google